방대한 비정형 데이터를 빠르게 활용하려는 기업들의 요구에 발맞춰, AI 기반 스토리지 기술 기업 바스트 데이터(Vast Data)가 새로운 기능 ‘싱크엔진(SyncEngine)’을 공개했다. 이번 기능은 기존 고객에게 무상으로 제공되며, 분산된 비정형 데이터와 각종 SaaS 도구를 손쉽게 AI 파이프라인에 연동할 수 있도록 설계됐다. 바스트 데이터는 이를 통해 데이터 수집과 전환, 카탈로그화를 모두 하나의 플랫폼에서 처리할 수 있게 됐다고 설명했다.
싱크엔진은 바스트의 인공지능 플랫폼 ‘VAST AI OS’에 통합돼 작동하며, 저장소와 연산, 메시징, 추론 기능을 하나의 통합된 데이터 레이어로 묶어 AI 워크로드를 지원하는 데 중점을 뒀다. 바스트 AI OS는 저장 미디어와 연산 프로세서를 분리하는 ‘분산 및 공유 아키텍처’를 기초로 하며, 이를 통해 거의 무한에 가까운 데이터 저장 용량을 확보하고 연산 자원과 독립적으로 접근할 수 있도록 만들어졌다.
이번 싱크엔진 출시의 핵심은 AI가 데이터를 제대로 활용하지 못하는 이른바 ‘라스트 마일’ 문제 해결에 있다. 기업 내 데이터가 수십 개의 파일 시스템과 클라우드 서비스, SaaS 애플리케이션에 파편화돼 있는 상황에서, 바스트는 이 데이터를 실시간 인사이트로 바꾸는 과정을 단일 플랫폼으로 단순화해 주겠다고 밝혔다. 복잡한 스크립트 구성이나 데이터 정제 작업 없이, 스냅처럼 간단하게 AI에 맞는 데이터 파이프라인을 구축할 수 있다는 설명이다.
NAND 리서치의 애널리스트 스티브 맥도웰은 바스트가 저장소 안에 데이터베이스와 관리 도구를 통합하면서 하이퍼컨버지드 형태의 데이터 경험을 가능하게 했다고 평했다. 그는 “싱크엔진은 자사의 시스템 내 저장 데이터는 물론, 다른 스토리지 및 SaaS 플랫폼까지 색인화해 기업 전반의 데이터를 유기적으로 연결하는 역할을 한다”고 강조했다.
컨스텔레이션 리서치의 마이클 니는 “싱크엔진은 벡터 데이터베이스와 이벤트 스트리밍 기능을 내장한 덕분에 데이터 파이프라인 전반의 병목을 해소할 수 있다”며, “이는 단순한 성능 향상을 넘어서 AI 인프라의 경제성까지 재정의하는 움직임”이라고 평가했다. 니는 특히 기존 데이터 이동, ETL, 변환에 필요한 많은 툴을 하나로 통합한 점을 바스트의 차별점으로 꼽았다.
바스트는 싱크엔진이 수조 개의 파일과 객체 데이터를 인덱싱하고 검색할 수 있으며, 인제스트 처리량에는 이론상 한계가 없다고 자신했다. 이처럼 병렬 확장 가능한 구조 덕분에 노드를 추가하는 것만으로도 시스템 성능을 쉽게 확장할 수 있다는 이점도 언급했다. 또한 구글 드라이브, 세일즈포스, 마이크로소프트 오피스, 셰어포인트 등을 포함한 주요 엔터프라이즈 응용 프로그램과의 통합도 지원돼, 다양한 실무 데이터까지 통일된 카탈로그화가 가능해진다.
다만 바스트의 이같은 통합 모델은 특정 공급자에 대한 종속성 문제도 함께 동반할 수 있다. 맥도웰은 “모든 기능이 바스트 플랫폼 안에 통합되어 있다는 것은 유연성이 떨어지고, 개별 기능별로 최적 솔루션을 유연하게 대체하기 어렵게 만든다”고 지적했다. 그는 또 “싱크엔진은 독립 제품이 아닌 통합 수단으로 제공되기 때문에 비용 절감 효과도 기존 사용자에게만 유리할 수 있다”고 덧붙였다.
바스트 데이터의 공동 창업자 제프 덴워스는 AI 경쟁에서 승기를 잡을 기업은 ‘접근 가능한 일부’가 아닌 ‘흩어진 모든 데이터’를 활용할 수 있는 역량이 좌우할 것이라고 강조했다. 그는 “기존 IT 인프라가 만들어놓은 사일로를 없애야만 AI 전략이 힘을 발휘할 수 있다”며, “싱크엔진을 통한 데이터 접근성과 가시성이 기업의 AI 전환을 가속화할 것”이라고 말했다.