인공지능의 핵심 자원인 데이터가 무질서하게 흩어져 있다면 AI의 진정한 가치는 반감될 수밖에 없다. 수십 년간 기업들이 온프레미스, 퍼블릭 클라우드, SaaS 애플리케이션 등에 데이터를 분산 저장하면서 '사일로화된 데이터'라는 문제가 악화돼 왔고, 최근 AI 도입 속도가 빨라지면서 그 파편화가 새로운 도전 과제로 부상했다.
이 같은 문제를 해결하기 위해 등장한 것이 데이터 오케스트레이션 전문 기업 해머스페이스(Hammerspace)다. 이 회사는 다양한 스토리지 시스템과 지역, 프로토콜에 걸쳐 분산된 데이터를 하나의 글로벌 플랫폼으로 통합함으로써 AI 파이프라인의 단순화, 자동화, 그리고 가속화를 추구하고 있다.
해머스페이스의 고위 임원 샘 뉴냄(Sam Newnam)은 최근 열린 'Future of Data Platforms' 서밋에서 “전통적인 NAS 환경부터 클라우드, SaaS 애플리케이션까지 정형화되지 않은 데이터가 수년간 축적돼왔고, 이 복잡한 데이터 환경에 가시성과 제어력을 제공하는 것이 AI 전략의 출발점”이라고 밝혔다.
기업들이 현재 가장 많이 채택하고 있는 하이브리드 클라우드 전략도 데이터의 일관성과 접근성을 보장하지 못하면서 어려움을 겪고 있다. 이에 대해 해머스페이스는 단일 네임스페이스를 통해 온프레미스와 퍼블릭 클라우드를 아우르며 전체 데이터 환경을 추상화하는 접근을 제공한다. AWS, 애저, 또는 로컬 NAS 등 어디에 데이터를 저장하더라도 사용자 입장에서는 동일한 콘솔에서 일관된 방식으로 접근할 수 있도록 하는 구조다.
뉴냄은 “AI는 데이터를 기계 속도로 읽고 해석해야 하며, 이를 위해서는 인간처럼 문맥 판단을 할 수 없는 에이전트 간에도 데이터의 체계화가 필수”라며 “우리 플랫폼은 분석에 필요한 데이터를 특정 GPU 가까이 배치하고, 계산이 끝난 뒤 원래 위치로 복귀시키는 등 데이터 이동 없이도 고속 AI 학습이 가능토록 한다”고 설명했다.
이 같은 기술적 강점 덕분에 해머스페이스 플랫폼은 최근 부상하는 RAG(retrieval-augmented generation), 임베딩 학습, 파인튜닝과 같은 AI 워크로드에서 최대 50%까지 처리 속도를 높일 수 있는 것으로 전해졌다. 또한 기존 NAS 데이터를 마치 GPU 인접층인 제로 스토리지 티어(tier zero)처럼 구성해 단기간에 AI 모델 학습에 활용할 수 있도록 하는 방식은 비용과 시간을 크게 줄이는 데 기여하고 있다.
기업들이 막대한 예산을 들여 기존 데이터를 신규 인프라로 이전하지 않고도 현재 환경 안에서 AI 성과를 도출할 수 있다는 점에서 해머스페이스의 접근은 더욱 주목받고 있다. 이는 비용 효율성과 유연성을 중시하는 기업 고객에게 특히 매력적인 요소로 작용하고 있다.
AI가 기업의 전방위적인 디지털 전략의 중심축으로 자리 잡은 오늘날, 데이터 사일로 문제는 단순한 기술 과제가 아니라 경쟁력의 핵심이라 해도 과언이 아니다. 해머스페이스는 이 복잡한 문제에 대해 기술적 해법 뿐 아니라 실질적인 비즈니스 가치를 실현할 수 있는 인프라로 주목받고 있다.