스타트리, Apache Iceberg 전면 도입… 실시간 쿼리에 새로운 표준 제시

실시간 분석 플랫폼인 스타트리(StarTree)가 자사의 데이터 레이크하우스 아키텍처에 아파치 아이스버그(Apache Iceberg)를 전면 도입하면서 분석 처리 성능 향상과 함께 적용 사례 확장에 나섰다. 기존 스트리밍 데이터와 저지연 응답에 특화됐던 스타트리가 보다 폭넓은 고객용 데이터 제품 시장을 겨냥한 전략 변화에 시동을 건 셈이다.

스타트리는 지난 23일(현지시간), Iceberg를 자사의 클라우드 서비스 상에 분석 및 서빙 계층으로 통합해 수천 명의 동시 접속 사용자에게 실시간 데이터를 제공하는 고성능 분석 환경을 구현한다고 밝혔다. 이를 통해 복잡한 데이터 파이프라인 구축 없이 외부에 데이터를 노출해야 하는 고객 대면 데이터 제품 개발을 크게 간소화할 수 있게 됐다는 설명이다.

Iceberg는 클라우드 스토리지에 저장된 데이터 파일의 일관성과 관리 효율성, 쿼리 성능을 높이기 위한 테이블 포맷 계층으로, 최근 수년간 다양한 테크 기업들 사이에서 표준으로 자리 잡아왔다. 특히 파케이(Parquet) 등 구조적 파일 포맷에 대한 트랜잭션 기반 접근이 가능하지만, 기본적으로 저지연·고동시성 쿼리 처리에는 한계가 있어 외부 시스템 통합이 필요했다.

기존에는 이러한 한계를 극복하기 위해 별도의 키-값 저장소나 전용 분석 시스템으로 데이터를 이관하거나 중복 저장하는 방식이 주로 사용됐다. 그러나 스타트리는 Iceberg 기반 테이블을 변환 없이 직접 질의할 수 있도록 핀노트(Pinot) 인덱스, 로컬 캐싱, 프리페칭 등의 성능 최적화 기술을 결합해 이 문제를 근본적으로 해결했다.

스타트리의 제품 총괄인 친마이 소만은 “사실상 기존에는 차원값과 지표를 조합한 수많은 조합을 사전에 생성해야 했기에 데이터가 기하급수적으로 증폭되는 문제가 있었다”며 “이번 통합으로 이러한 비효율 요소들을 제거할 수 있게 됐다”고 말했다.

회사는 Iceberg 환경에서도 수치형, 텍스트, JSON, 위치 정보 등 다양한 데이터 타입에 대한 인덱스를 노드에 로컬로 배포하거나 객체 저장소에 이중화하는 방식으로 유지하며 기존 지연 없이 쿼리를 보장할 수 있다고 강조했다. 특히 핀노트와 파케이 파일의 접근을 최적화해 랜덤 조회에 불리했던 구조도 효율적으로 다뤄낼 수 있게 만들었다는 점도 부각했다.

실제 금융, 물류, e커머스 분야 고객사들이 중복 없이 대규모 사용자에게 과거 거래 흐름, 배송 성과 등의 지표를 제공하는 대시보드 구현에 Iceberg 기반 스타트리 서비스를 활용 중이다. 이 경우 데이터가 완전한 실시간이 아니더라도 일정 SLA(서비스 수준 협약)를 충족해야 하기 때문에 고성능 서빙 계층이 필수다.

시장조사업체 theCUBE 리서치의 수석 애널리스트 폴 나샤와티는 “Iceberg의 도입은 급증하고 있지만 고객 대면형 애플리케이션이 요구하는 응답 시간과 동시성 수준을 만족할 수 있는 쿼리 엔진은 여전히 부족하다”며 “스타트리의 이번 변화는 이 격차를 메우는 시의적절한 전략적 진보”라고 평가했다.

스타트리 측은 Iceberg 도입이 기존 포맷 대비 일부 성능 손실이 있을 수는 있지만, 초당 수백 건 수준의 쿼리는 여전히 지연 없이 소화 가능하다고 설명했다. 마케팅 총괄 채드 멜리는 “우리가 해결하고자 하는 과제는 이제 단순한 데이터 신선도가 아닌, 무겁고 복잡한 인프라 없이 확장 가능한 데이터 제품을 만들 수 있도록 돕는 것”이라고 말했다.

Iceberg를 지원한다는 것은 단순한 기술 호환을 넘어 시장 변화에 맞춘 방향 전환이기도 하다. 멜리는 “모든 고객이 Iceberg를 묻고 있는 상황”이라며 “이제는 이를 표준적으로 지원해 레이크하우스 기반 제품 아키텍처를 더 간결하게 가져갈 수 있는 기반을 제공할 것”이라고 덧붙였다.