생성형 AI 기술을 기업 환경에 맞춰 최적화하기 위한 이른바 'AI 공장(Factory)' 개념이 급부상하며, 이를 뒷받침하는 저장 인프라 혁신 경쟁이 본격화되고 있다. 특히 데이터 정확성과 실시간 처리 능력을 강화할 수 있는 RAG(Retrieval-Augmented Generation) 파이프라인 구축이 기업용 AI 도입의 핵심으로 자리 잡고 있다.
슈퍼마이크로(SMCI), 엔비디아(NVDA), VAST 데이터, 솔리디짐 등 업계 주요 기업들은 최근 개최된 '오픈 스토리지 서밋 2025'에서 기업형 RAG 구축 전략과 스토리지 아키텍처 혁신 방향을 공유했다. 이들은 공동 인터뷰를 통해 AI의 정확도를 높이기 위한 저장 장치 병목 해소와 파워 효율성 개선이 필수라는 데 의견을 같이했다.
슈퍼마이크로의 벤 리는 “기존 엔터프라이즈 인프라에서는 메모리 대역폭, 뉴럴 인터커넥션 속도, 온프레미스나 클라우드 환경 간의 명확한 선택이 중요해졌다”며 “지금은 단순 저장 공간을 넘어, AI 워크로드를 처리할 수 있는 진정한 'AI 제조플랜트'를 구축해야 하는 시점”이라고 강조했다.
RAG 파이프라인의 효율성을 높이기 위해서는 고정확도의 실시간 데이터 수집이 핵심이다. VAST 데이터는 자사의 AI 운영체제(OS)를 기반으로 정형 및 비정형 데이터를 구조화하고, 이를 AI 학습에 적합한 형태로 가공하는 데 중점을 둔다고 밝혔다. 필 마네즈 VAST 전무는 “수십만 개 GPU가 연결되는 엑사바이트급 클러스터를 실제 운영하고 있으며, 이를 위해 공유형 분산 아키텍처를 도입했다”고 말했다.
엔비디아는 최근 자사의 네모 리트리버(NeMo Retriever)를 통해 대규모 기업 데이터를 RAG 시스템에 효율적으로 삽입할 수 있도록 하는 기능을 내놨다. 네브 알가리치 엔비디아 제품 매니저는 “데이터 중력(Data Gravity)이 증가하는 가운데, 보안성과 지속적인 데이터 유지관리 측면에서 엔터프라이즈 니즈가 급성장하고 있다”고 설명했다.
이러한 인프라에 병목으로 작용할 수 있는 저장 네트워크 문제를 풀기 위해 그레이드 테크놀로지(Graid)는 새롭게 '슈프림레이드(SupremeRAID)' 솔루션을 공개했다. 해당 솔루션은 RAID 연산을 GPU로 처리해 CPU 의존도를 낮추며, 지연 시간 해소에 기여한다는 평가다.
한편 SK하이닉스 자회사 솔리디짐은 고밀도 SSD 기술을 통해 저장 비용과 자원 소모를 크게 절감할 수 있다고 밝혔다. 타미드 라흐만 디렉터에 따르면 “기존 메모리 중심 접근에서 RAG 데이터베이스와 모델 가중치를 SSD에 오프로드함으로써 쿼리 초당 처리 성능을 70% 이상 높였다”며 “메모리 풋프린트도 절반 줄여 운영비용 절감 효과까지 거뒀다”고 말했다.
AI의 미래를 설계하는 기업들이 주목하는 것은 단순 저장 공간의 확대가 아니라, 정확도와 비용 효율성 사이의 균형을 설계할 수 있는 RAG 기반 스토리지 인프라다. 슈퍼마이크로, 엔비디아, VAST 데이터 외에도 전방위적인 협업이 이어지고 있으며, 이를 바탕으로 기업형 생성형 AI의 진입 장벽은 더욱 낮아질 전망이다.