AI 인프라의 확장 속도가 빨라지면서 저장장치 효율성이 데이터 시스템 설계의 핵심 과제로 떠오르고 있다. 연산 및 네트워크 성능이 고도화될수록 스토리지 계층이 받는 부담이 커지고 있으며, GPU 집약형 연산 환경에서는 지연 시간을 줄이고 응답 속도를 극대화할 수 있는 고성능 저장 솔루션이 경쟁력이 되고 있다.

SC25에서 진행된 theCUBE 세션에서 솔리딤(Solidigm)의 아비 셰티(Avi Shetty) AI 사업 총괄 디렉터는 “작년까지만 해도 GPU와 고대역폭 메모리(HBM)가 주목받았지만, 이제는 탄탄한 성능과 확장성을 갖춘 스토리지 솔루션 없이 AI 워크로드를 안정적으로 운영하기 어렵다는 점이 명확해졌다”고 강조했다. 솔리딤은 SK하이닉스의 낸드 플래시 자회사다.

웨카(WekaIO)의 제품 총괄 이사야 와이너(Isaiah Weiner)도 여기에 동의하며, “스토리지 효율화는 AI 모델 교육, 추론, 고성능 컴퓨팅(HPC)에 이르기까지 전반적인 아키텍처 설계의 핵심 요소가 되고 있다”고 밝혔다. 이들은 기존 스토리지가 단순 데이터 저장을 넘어 AI 모델 실행의 실질적인 병목을 줄이는 역할까지 수행해야 한다는 점을 강조했다.

실제 솔리딤과 웨카는 AI 처리 과정에서 다층 저장구조의 필요성이 급증하고 있다고 지적했다. 고성능 SSD는 모델 학습 단계에서 GPU 처리 속도를 받쳐주는 정밀 피딩용으로 사용되며, 고집적 QLC 저장 매체는 글로벌 추론 환경에서 장기적 운영 효율성과 저장 비용 절감에 중점을 둔다. 두 저장 매체를 적절히 조합해 전력 소비부터 처리 주기, 서비스 경제성까지 균형 잡힌 시스템을 구축하는 것이 최근 변화의 본질이라는 설명이다.

특히, 추론 속도가 제품 사용자 경험에 직접적인 영향을 미치면서 자체적으로 불필요한 시간 소모를 줄일 수 있는 '스토리지 중심 설계(Storage-Centric Design)'로의 전환이 가속화되고 있다. 모델 로딩, 갱신, 요청 사이 전환 속도를 높이기 위해서는 저장장치 효율화를 기초로 한 아키텍처 혁신이 필요하다는 것이다.

웨카는 이날 웨카 고객이 솔리딤의 QLC SSD를 활용할 경우 기존 대비 최대 90% 수준의 성능을 유지하면서 저장 비용을 대폭 절감할 수 있도록 업그레이드를 완료했다고 발표했다. 아비 셰티는 “저렴하면서도 고성능을 낼 수 있는 고집적·고확장 SSD를 이용한 AI 인프라 구축이 이제는 실현 가능한 수준”이라고 말했다.

SC25에서도 확인된 이러한 흐름은 AI 모델이 실질적으로 가치를 창출하는 추론 단계로 이동하면서 더욱 두드러지고 있다. 실시간 응답성과 연산 자원의 효율적 활용이 중요해지면서, 결과 도출 속도와 저장장치 간 전송 최적화를 바탕으로 사용자의 실제 경험을 개선하는데 초점이 맞춰지고 있다.

이와 관련해 더큐브의 공동 진행자 사바나 피터슨(Savannah Peterson)은 “AI가 현실 세계에서 어떤 가치와 경험을 제공하려면 추론의 최적화 없이는 불가능하다”고 강조했다. 이에 따라 기업들은 GPU 성능 강화에만 집중하는 것이 아니라 전체 데이터 파이프라인, 특히 저장장치의 역할을 재정의하며 시스템 효율의 극대화를 추구하고 있다.

스토리지 효율성을 중심축으로 한 AI 설계는 단순한 성능 확보에서 나아가 비용 대비 효과 극대화, 전력 문제 해결, 지속 가능한 인프라 구축이라는 종합적 목표까지 고려해야 하는 단계에 이르고 있다. AI가 이제 막 실용화 국면에 진입하는 가운데, 스토리지는 그 성장방정식 속에서 점점 더 핵심 요소로 작동하고 있다.