데이터브릭스, AI 에이전트 겨냥 ‘실시간 레이크하우스’ 아키텍처 공개

기업용 플랫폼 업체들이 ‘AI 에이전트’를 위한 인프라 경쟁에 속도를 내고 있다. 데이터브릭스는 17일 미국 샌프란시스코에서 열린 ‘데이터+AI 서밋’에서 운영 데이터와 분석 데이터를 하나의 원본에서 동시에 다룰 수 있는 새 구조를 공개하며, 기업 내 AI 자동화 시장 선점에 나섰다.

이번에 공개된 핵심은 ‘레이크 트랜잭셔널·애널리티컬 프로세싱’이다. 데이터 레이크에 저장된 단일 데이터 사본을 기반으로, AI 에이전트가 운영 업무와 분석 업무를 함께 읽고 판단할 수 있도록 설계한 구조다. 데이터브릭스는 이를 통해 에이전트가 기업 내부의 여러 생산 데이터베이스를 가로질러 맥락을 이해하고 필요한 작업까지 수행할 수 있다고 설명했다.

알리 고드시 데이터브릭스 최고경영자(CEO)는 기조연설에서 ‘AGI는 이미 와 있다’고 주장했다. 그는 현재 AI에 ‘지능’이 부족한 것이 아니라, 기업 조직 전반에 충분히 스며들지 못한 점이 더 큰 문제라고 진단했다. 결국 과제는 AI를 더 똑똑하게 만드는 것이 아니라, 실제 업무 현장에서 제대로 작동하게 만드는 데 있다는 의미다.

‘레이든’으로 지연시간 낮추고 동시 처리 확대

데이터브릭스는 실시간 레이크하우스를 구현하는 새 컴퓨트 엔진 ‘레이든’도 함께 발표했다. 이 엔진은 수만 명의 사용자와 AI 에이전트가 동시에 접속하는 상황에서도 밀리초 단위 응답속도를 유지하는 데 초점을 맞췄다. 공동창업자인 레이놀드 신이 개발에 핵심 역할을 했으며, 현장 시연에서는 수천 개의 AI 에이전트가 동시에 같은 질의를 보내는 상황에서도 낮은 지연시간을 유지하는 모습을 강조했다.

레이놀드 신은 “기존 어느 시스템도 이런 수준의 동시 응답 성능을 보여주지 못한다”며 “레이크하우스 출시 이후 가장 큰 발표 중 하나일 수 있다”고 말했다.

이 발표는 기업들이 AI 에이전트를 단순 보조도구가 아닌 ‘자율형 디지털 직원’으로 활용하려는 흐름과 맞닿아 있다. 데이터브릭스는 앞으로 이런 에이전트가 동시에 여러 애플리케이션 버전을 실행하고, 몇 분 안에 새로운 소프트웨어 환경을 만들었다가 폐기하는 방식으로 일하게 될 것으로 보고 있다.

지니 원·온톨로지로 ‘업무 맥락’ 보강

데이터브릭스는 AI 에이전트의 약점으로 꼽히는 ‘맥락 이해’ 문제를 보완하기 위해 지니 AI 플랫폼도 강화했다. 새로 공개한 ‘지니 원’은 실제 비즈니스 데이터에 기반해 업무 자동화를 지원하는 도구다. 고드시는 “다른 에이전트가 내용을 되풀이하는 수준이라면, 지니 원은 실제로 계산하고 처리한다”고 차별점을 설명했다.

함께 선보인 ‘지니 온톨로지’는 기업 내부 및 외부 데이터를 계속 학습하는 실시간 맥락 계층이다. 고드시는 이를 구글 검색의 페이지랭크와 비슷한 개념으로 비유했다. 기업 데이터 속에서 어떤 정보가 가장 중요한지 우선순위를 정해, AI 에이전트가 더 적절한 판단을 내리도록 돕는다는 뜻이다.

이는 최근 기업 AI 도입의 최대 난관으로 꼽히는 문제와도 연결된다. 생성형 AI 모델 자체의 성능은 빠르게 높아졌지만, 이를 기업 내부 데이터와 안전하게 연결해 실제 생산성으로 이어지게 만드는 일은 여전히 쉽지 않다. 고드시는 “이 맥락을 AI에 넣는 일은 생각보다 훨씬 어렵다”며 데이터브릭스가 그 문제 해결에 집중해 왔다고 말했다.

비용·보안 부담 줄이기에도 초점

데이터브릭스는 기업들의 AI 도입 비용을 낮추는 데도 무게를 실었다. ‘유니티 AI 게이트웨이’는 보안 통제, 비용 관리, 에이전트 모니터링을 제공하는 거버넌스 도구다. 최근 많은 기업이 AI 토큰 사용량 급증로 비용 부담을 크게 느끼는 만큼, 통제 기능이 핵심 경쟁력으로 떠오르고 있다는 판단이다.

고드시는 “모든 조직이 비용이 급등할까 봐 걱정하고 있다”며 “가장 많이 받는 질문도 비용 문제”라고 말했다.

보안 역시 중요한 화두다. 데이터브릭스는 지난 3월 방어형 보안 에이전트와 위협 탐지를 자동화하는 보안 정보·이벤트 관리(SIEM) 솔루션 ‘레이크워치’를 공개한 데 이어, 이날 AI 보안 운영 플랫폼 업체 팬서랩스를 인수한다고 발표했다. 팬서랩스 고객사에는 주요 AI 모델 기업 앤스로픽도 포함돼 있다.

스노우플레이크와 경쟁…‘AI 에이전트’ 플랫폼 전쟁 본격화

이번 발표는 이달 초 유사한 방향의 전략을 내놓은 스노우플레이크($SNOW)와의 경쟁 구도를 더 뚜렷하게 보여준다. 시장에서는 앞으로 기업 업무가 실제로 이뤄지는 접점이 ‘에이전트 기반 시스템’으로 이동할 가능성에 주목하고 있다. 다만 이를 뒷받침하려면 단순 대화형 AI를 넘어, 기업 데이터를 학습하고 신호를 실제 생산성으로 전환하는 ‘지능 시스템’이 함께 구축돼야 한다는 지적도 나온다.

데이터브릭스의 전략은 결국 ‘일이 이뤄지는 공간’과 ‘기업 지능이 만들어지는 공간’을 하나로 연결하는 데 가깝다. 회사가 말하는 AGI 역시 사람을 완전히 대체하는 개념이라기보다, AI 에이전트가 기업의 핵심 데이터에 접근해 실질적인 업무를 처리하는 상태에 더 가까워 보인다.

다만 AGI 도래를 둘러싼 해석은 여전히 엇갈린다. 같은 행사에 참석한 오픈AI의 공동창업자 그레그 브록먼은 개발자 역할이 여전히 중요하다고 강조했다. 그는 “AGI는 명확한 정의라기보다 하나의 느낌에 가깝다”며 “지금은 무언가를 만드는 사람에게 가장 좋은 시기”라고 말했다.

데이터브릭스의 이번 발표는 ‘AI 에이전트’ 경쟁이 이제 모델 성능보다 데이터 연결, 비용 통제, 보안, 실시간 처리 역량으로 옮겨가고 있음을 보여준다. 기업용 AI 시장의 승부처도 점점 그 지점에서 갈릴 가능성이 커지고 있다.