AI 투자, 칩 확보보다 ‘스토리지 병목’ 관리가 수익성 가른다

기업들의 인공지능(AI) 전략이 실험 단계에서 실제 서비스 운영으로 옮겨가면서, AI 스토리지 인프라가 수익성을 좌우하는 핵심 변수로 떠오르고 있다. 막대한 비용을 들여 그래픽처리장치(GPU)와 텐서처리장치(TPU)를 확보해도 데이터를 제때 공급하지 못하면 투자 효과가 크게 떨어질 수 있다는 분석이다.

데이터다이렉트네트웍스(DDN)의 공동 창업자이자 최고경영자 알렉스 부자리(Alex Bouzari)는 구글 클라우드 넥스트 2026 현장에서 진행된 인터뷰에서, 대형 AI 워크로드의 병목은 더 이상 모델 개발 자체가 아니라 연산 장비를 얼마나 지속적으로 가동하느냐에 있다고 짚었다. 그는 “수요가 급증하고 있다”며 “기업들이 AI로 무엇을 할지 시험하던 단계에서 이제는 본격적인 생산 단계로 넘어가고 있다”고 말했다.

부자리에 따르면 최근 기업 고객 가운데 내부적으로 매달 ‘수조 개’ 토큰을 처리하는 사례도 등장했다. 이 경우 단순히 고성능 반도체를 늘리는 것만으로는 충분하지 않다. 실제 투자수익률(ROI)을 맞추려면 시간당 처리 가능한 토큰 수를 높일 수 있는 데이터 엔진이 필요하다는 설명이다.

구글 클라우드, 3년 새 데이터 규모 4배… GPU 활용도가 수익성 좌우

아사드 칸(Asad Khan) 구글 클라우드 스토리지 부문 수석 디렉터는 AI 확산에 따라 클라우드에 유입되는 데이터 규모가 빠르게 늘고 있다고 밝혔다. 그는 구글 클라우드의 데이터 처리 규모가 최근 3년 동안 4배로 증가했다고 설명했다. 기업들이 학습과 추론을 위해 더 많은 데이터를 클라우드로 옮기면서, AI 스토리지 인프라의 중요성도 함께 커졌다는 의미다.

칸은 특히 GPU와 TPU의 활용률이 총소유비용(TCO)을 사실상 결정한다고 강조했다. 이들 장비는 가격이 비싸고 수급도 쉽지 않아, 낮은 활용률은 곧바로 비용 부담으로 이어진다. 그는 하모닉 사례를 언급하며, 해당 기업이 구글 클라우드의 매니지드 러스터(Managed Lustre)를 도입한 뒤 장비 활용도가 6배 높아졌다고 전했다. 이전까지는 AI 투자 대비 성과가 기대에 못 미쳤지만, 스토리지 구조를 바꾸면서 상황이 달라졌다는 것이다.

DDN·구글 협업, 초당 10TB 처리… TPU 활용률 95% 이상

양사가 공동 설계한 매니지드 러스터는 DDN의 엑사스케일러(EXAScaler) 플랫폼을 기반으로 한다. 구글 클라우드 넥스트 2026에서 공개된 최신 기능에 따르면 이 서비스의 처리 속도는 초당 10테라바이트(TB)에 이른다. 이전 수준과 비교해 10배 향상된 수치다.

부자리는 DDN과 구글의 공동 고객들이 TPU 활용률 95% 이상을 달성했다고 밝혔다. 이는 값비싼 AI 연산 자산을 거의 ‘포화 상태’에 가깝게 돌릴 수 있다는 뜻으로, AI 투자 효율 개선에 직접 연결된다.

칸은 이번 성과가 단순한 소프트웨어 도입이 아니라 네트워크, 가상머신(VM), 스토리지 구성을 함께 최적화한 ‘공동 설계’의 결과라고 설명했다. 그는 초당 10TB, 즉 80테라비트 수준의 처리량은 여타 하이퍼스케일 클라우드 사업자의 제공 수준을 크게 웃도는 성능이라고 강조했다.

추론 성능도 개선… 첫 토큰 응답 시간 40% 이상 단축

이번 협력은 AI 학습뿐 아니라 추론 영역까지 확대되고 있다. 양사는 추론 워크로드의 핵심 요소인 키-값(KV) 캐시 최적화에도 나섰다. KV 캐시를 호스트 메모리만으로 처리하는 대신 구글 클라우드 매니지드 러스터로 오프로딩하면, 첫 번째 토큰이 생성되기까지 걸리는 평균 시간이 40% 이상 줄어든다고 칸은 설명했다.

이는 최근 중요성이 커진 ‘에이전틱 AI’ 환경에서 특히 의미가 크다. 에이전틱 AI는 단순 질의응답을 넘어 스스로 작업을 수행하고 연쇄적으로 판단하는 형태여서, 응답 지연과 인프라 비용 관리가 서비스 경쟁력을 좌우할 가능성이 크다.

세일즈포스·소니혼다모빌리티도 도입… 산업 전반으로 확산

고객군도 빠르게 넓어지고 있다. 세일즈포스($CRM)는 매니지드 러스터를 활용해 대규모 기업용 워크로드를 운영하고 있으며, 소니혼다모빌리티는 자율주행 시스템 ‘아필라 인텔리전트 드라이브’ 학습을 위한 멀티모달 플랫폼으로 이를 사용하고 있다.

학계에서도 도입이 늘고 있다. 연구자와 박사과정 학생들이 직접 AI 인프라를 사용할 수 있도록 지원하면서, 향후 기업 현장에 투입될 차세대 AI 인력을 키우는 기반으로도 자리 잡고 있다는 평가다. 기업뿐 아니라 교육·연구 영역까지 AI 스토리지 인프라 수요가 확산하고 있는 셈이다.

부자리는 “에이전틱 AI는 사라지지 않을 것”이라며 “이를 활용하지 않으면 차별화도, 경쟁도 어려워질 수 있다”고 말했다. 다만 그는 무작정 도입하기보다 적절한 기술과 파트너를 통해 ‘신중하게’ 접근해야 한다고 덧붙였다.

결국 AI 경쟁의 초점은 더 많은 칩을 확보하는 데서, 확보한 칩을 얼마나 효율적으로 돌리느냐로 옮겨가고 있다. 시장이 실험에서 생산 단계로 넘어가는 지금, AI 스토리지 인프라는 선택이 아니라 수익성을 뒷받침하는 필수 기반으로 자리 잡는 모습이다.