AI 추론 시대... GPU보다 '스토리지' 전쟁 시작됐다

AI 산업이 대규모 확산 단계에 돌입하면서, 핵심 기술의 무게추가 ‘모델 훈련’에서 ‘AI 추론’(inference)으로 이동하고 있다. 이는 GPU 중심의 하드웨어 논의에서 저장 장치(Storage)로 관심이 확대되고 있다는 신호로, 기업들이 실시간 대규모 추론을 스마트하게 수행하려면 고성능 스토리지 인프라가 결정적인 역할을 한다는 분석이다.

엔비디아(NVDA)의 제품 관리자 하리시 아로라에 따르면, AI 모델을 실환경에 배포해 수십억 건의 의사결정을 실시간으로 수행해내는 ‘추론 단계’에서 가장 중요한 기술은 GPU 자체가 아니라 이를 뒷받침하는 저장 기술이다. 그는 실리콘밸리에서 열린 수퍼마이크로 오픈 스토리지 서밋에 참석해 “벡터 데이터베이스에 임베딩 데이터를 저장하고 이를 검색하는 작업의 중심에 바로 고성능 스토리지가 있다”고 말했다.

엔비디아는 이와 관련해 ‘네모 리트리버(NeMo Retriever)’라는 추론 특화 마이크로서비스(NIMs)를 공개하고, 이미지·차트·영상·로그 등 각종 비정형 데이터를 벡터 임베딩 방식으로 저장해 AI의 추론 정확도를 끌어올리는 데 주력하고 있다.

스토리지 기업들의 대응 전략도 속도를 내고 있다. 해머스페이스는 파일 단위의 정교한 데이터 제어 기능을 기반으로, 물리적 저장소에서 자유롭게 데이터를 분리하는 ‘AI Anywhere’ 플랫폼을 선언했다. 이를 통해 AI 추론이 요구하는 지능성, 보안, 이동성 면에서 뛰어난 유연성을 확보할 수 있다는 설명이다.

클라우디언과 솔리디짐 역시 적극적이다. 클라우디언은 GPU 메모리와 오브젝트 스토리지 간 병렬 경로를 가능하게 만드는 기술을 통해 초당 200GB 이상 속도의 데이터 흐름을 구현, CPU 부하를 줄이고 탄력적인 AI 추론 파이프라인을 완성했다. 솔리디짐은 고내구성·저전력 SSD를 전면에 내세우며, 단위 면적당 데이터 저장 효율성과 전력 최적화를 극대화하는 데 집중하고 있다.

이날 패널 토론에 참가한 수퍼마이크로 또한 서버부터 풀스택 시스템으로 이어지는 통합 솔루션 능력을 경쟁력으로 내세웠다. 하드웨어부터 소프트웨어까지 하나의 시스템으로 통합해 제공하면서, 각 기업이 AI 추론 경쟁에 뛰어드는 데 필요한 완성도 높은 인프라를 제공하겠다는 전략이다.

금융, 헬스케어, 제조 등 AI 활용이 급속히 확산되는 분야에서 요구되는 것은 단순 계산 능력 이상의 ‘빠른 응답성과 안정성’이다. 이러한 실시간 처리 요구를 충족하려면 저장 장치의 기능과 구조를 다시 정의할 필요가 있으며, AI 추론의 미래는 결국 이를 구현할 수 있는 스토리지 생태계에 달려 있다는 점에서 변화의 핵심으로 급부상하고 있다.