데이터브릭스, AI 에이전트 자동화 플랫폼 공개…기업 실전 도입 가속

많은 기업들이 인공지능(AI) 에이전트를 개발하지만 실제 운영 단계까지 도달하는 경우는 드물다. 기술의 수준이 낮아서가 아니라, 평가 과정이 지나치게 수동적이고 일관성이 없으며 확장성도 떨어지기 때문이다. 데이터브릭스(Databricks)는 이와 같은 문제를 해결하기 위해 ‘모자이크 에이전트 브릭스(Mosaic Agent Bricks)’ 플랫폼을 공개하며 주도권 확보에 나섰다.

데이터 + AI 서밋 행사에서 공개된 모자이크 에이전트 브릭스는 AI 에이전트를 자동으로 최적화하는 시스템이다. 데이터 라벨 없이도 인공지능 성능을 조정할 수 있는 TAO(Test-time Adaptive Optimization) 기술을 비롯해, 도메인별 합성 데이터 생성, 목표 중심 벤치마크 구성, 비용-효율 균형 최적화 처리까지 모두 자동화했다. 개발자나 기업이 명확한 평가 기준 없이 단순히 '좋아 보인다'는 느낌만으로 AI를 배포해야 했던 기존의 방식을 근본적으로 바꾸는 접근이다.

해당 기술을 총괄한 한린 탕(Hanlin Tang) CTO는 “대부분의 고객들이 수동 감각에 의존해 에이전트의 품질을 가늠하고 있었지만, 그렇게 해서는 운영 단계로 자신 있게 나아갈 수 없다”고 지적했다. 모자이크 출신인 탕은 2023년, 데이터브릭스가 모자이크를 약 1조 8,700억 원($1.3B)에 인수하며 합류한 바 있다.

특히 기업 고객과의 직접 접촉은 모자이크 팀의 연구 방향을 크게 바꾸는 계기가 됐다. 인수 이전까지만 해도 몇 달씩 걸려 단 몇 개 기업과 파트너십을 맺었던 모자이크는, 데이터브릭스 플랫폼에 통합되자마자 수천 개 기업과 바로 연결됐다. 이에 따라 실제 기업 환경에서 나타나는 문제를 연구 주제로 삼을 수 있게 되었고, 그 결과물이 바로 이번 발표다.

모자이크 에이전트 브릭스는 네 가지 핵심 기능 구성을 제공한다. 첫 번째는 정보 추출용 에이전트로, 복잡한 형식의 PDF나 이메일에서 구조화된 데이터를 추출한다. 두 번째는 지식 비서 역할로, 기업 내부 데이터를 기반으로 정확한 답변을 인용 형태로 제공한다. 세 번째는 커스텀 대형언어모델로, 텍스트 요약이나 분류 같은 작업에 특화된다. 마지막은 복잡한 워크플로우를 조율하는 멀티 에이전트 관리자로, 금융권에서는 문서 검색과 규정 준수 점검 등을 다중 에이전트를 통해 병행할 수 있다.

데이터브릭스는 이 제품을 자사 통합 데이터 스택의 최상위 AI 소비 계층으로 정의했다. 동시 발표된 ‘레이크플로우(Lakeflow)’는 비정형 및 정형 데이터를 통합하여 전처리하고, 준비된 데이터를 기반으로 에이전트를 자동 생성하는 구조다. 이 과정은 유니티 카탈로그(Unity Catalog)를 통해 데이터 거버넌스를 준수하며 이루어진다.

또한 AI를 특정 목표에 맞춰 유도하는 '시스템 프롬프트(prompt)' 방식을 뛰어넘기 위해, 데이터브릭스는 사람 피드백 기반 에이전트 학습 메커니즘도 도입했다. 이 시스템은 사용자의 자연어 피드백을 받아 에이전트의 내부 구성 요소를 자동으로 조정하며, 강화학습(RLHF)처럼 작동하지만 개별 모델 가중치가 아닌 전체 시스템 수준에서 작동한다. 이로써 모호한 지시도 해석해 정확한 반영이 가능해졌다는 설명이다.

이미 시장에는 랭체인, 마이크로소프트(MSFT), 구글(GOOGL) 등 다양한 에이전트 생성 프레임워크가 존재하지만, 데이터브릭스는 자사의 장점이 최적화 과정의 자동화에 있다고 강조했다. 모든 최적화 단계에 수작업 조율이 필요한 경쟁사들과 달리, 자사는 in-context 학습, 프롬프트 최적화, 미세조정까지 자동화된다는 점에서 차별화된다는 것이다.

아직은 구글의 Agent2Agent 프로토콜 등 에이전트 간 통신 표준이 확립되지 않은 상황이지만, 데이터브릭스는 복수의 프로토콜에 대응 가능한 구조로 설계된 자체 모델 컨텍스트 프로토콜(MCP)을 적용 중이다.

궁극적으로는 기업 의사결정권자에게 평가 및 배포 구조 자체를 제공하겠다는 전략이다. 에이전트를 만들고도 평가 인프라 부족으로 실제 서비스에 적용하지 못했던 병목을 제거함으로써, 기업은 이제 데이터 준비와 사용 사례 정의에만 집중할 수 있게 됐다는 것이 데이터브릭스 측의 설명이다. 에이전트 최적화 기술이 인공지능 역량의 한계를 결정짓는 시점에서, 이번 발표는 기업용 AI의 실전 투입에 한걸음 더 다가서는 계기로 작용할 것으로 보인다.