데이터브릭스, Zerobus Ingest로 실시간 데이터 수집 혁신!

알겠습니다. 요청한 본문 내용을 완성된 기사 형태로 제공합니다.

데이터브릭스(Databricks)가 오늘 그들의 Lakeflow Connect 제품군 내 새로운 서버리스 서비스인 Zerobus Ingest의 일반 출시를 발표했습니다. 이 서비스는 데이터브릭스 레이크하우스에 실시간 데이터 수집을 더욱 간편하게 하고 가속화합니다.

Zerobus Ingest는 이벤트 수준의 데이터를 중간 메시지 브로커 없이, 관리되는 델타 테이블에 직접 스트리밍할 수 있게 합니다. 이로써, 인프라 부담을 줄이고 운영 비용을 절감하며 지연 시간을 최대 5초까지 최소화했습니다.

또한, 이 서비스는 무려 일 만 명 이상의 동시 클라이언트를 지원하고, 한 테이블에 초당 10기가비트 이상의 총 처리량을 달성할 수 있습니다. 데이터브릭스에 따르면, 서버리스로 관리되는 이 서비스는 수동 설정 없이 자동으로 작업 부하에 맞춰 조정을 합니다.

일반적인 메시지 버스가 여러 소비자에게 이벤트를 배분하는 다중 싱크 아키텍처를 사용하는 반면, Zerobus는 데이터 수집에 최적화된 단일 싱크 방식을 채택했습니다. 이는 브로커 튜닝이나 소비자 그룹 모니터링의 필요성을 없애는 동시에, 카프카 기반 파이프라인의 많은 유지 관리를 제거합니다.

개발자는 구글 원격 프로시저 호출과 REST API, 그리고 파이썬, 자바, 러스트, 고, 타입스크립트용 SDK를 사용하여 Zerobus Ingest와 통합할 수 있습니다. 이로 인해 최소한의 코드로 데이터를 관리 카탈로그인 Unity Catalog에 의해 제공되는 레이크하우스로 직접 기록할 수 있습니다.

Zerobus Ingest는 텔레메트리 및 사물인터넷(IoT) 데이터, 클릭스트림 분석, 사이버 보안 이벤트 스트림 등 대량 데이터를 실시간으로 분석해 운영 인사이트를 증대시키는 다양한 사례에 최적이라고 데이터브릭스 측은 강조했습니다. 외부 스트리밍 계층을 제거함으로써, 다중 구성 요소 수집 스택을 단일 관리 서비스로 통합하여 비용을 절감할 수 있습니다. 이 서비스는 현재 주요 클라우드 플랫폼에서 Lakeflow Connect 포트폴리오의 일부로 제공됩니다.