데이터브릭스, AI 개발 비용 확 낮추는 '모자이크 에이전트 브릭스' 공개

엔터프라이즈 AI 시장의 핵심 주자인 데이터브릭스(Databricks)가 복잡성과 비용 문제를 대폭 줄여주는 새로운 AI 에이전트 개발 도구들을 공개했다. 이번 발표는 2024년 '데이터 + AI 서밋'에서 이뤄졌으며, 고객의 기업 데이터를 활용해 에이전트를 자동으로 학습·최적화할 수 있는 '모자이크 에이전트 브릭스(Mosaic Agent Bricks)'가 중심에 있다.

에이전트 브릭스는 기업들이 AI 프로토타입을 실제 운영환경에 투입하는 데 필요한 복잡한 절차를 간소화하는 데 중점을 뒀다. 특히 제한된 데이터나 주관적 평가에 의존하던 기존 방식과 달리, 이 플랫폼은 생성된 합성 데이터와 자동화된 평가 기준을 통해 안정적이고 비용 효율적인 에이전트 배포를 지원한다. 기업 마케팅 부문 부사장인 조엘 미닉(Joel Minnick)은 “AI 모델을 평가하거나 성능을 예측하는 표준화된 방법이 없어 실제 투입이 지체되고 있다”고 설명하며, 데이터브릭스의 신기능이 이러한 문제 해결에 큰 역할을 할 것이라고 자신했다.

이 플랫폼의 특징 중 하나는 대형 언어모델(LLM)을 '심사위원'으로 활용한다는 점이다. LLM이 직접 질문과 예측 답변을 생성해 다양한 구성의 모델과 하이퍼파라미터를 실험하면서 품질 대비 비용의 균형점을 찾아낸다. 사용자는 예산과 정확도 사이에서 선택이 가능하며, Llama 7B 같은 모델로 98% 품질을 확보하거나, 더 저렴한 앤스로픽(Anthropic) 기반 모델로 85% 성능을 확보하는 식의 조정이 가능하다. 이 같은 심사 메커니즘은 특히 특정 도메인이나 언어에 최적화된 AI 학습 데이터를 갖추기 어려운 기업에게 큰 이점을 제공한다.

또한 초기 버전에는 정보 추출, 지식 기반 응답 정확도 향상, 요약 및 분류 업무를 위해 설계된 특화 에이전트들이 내장되어 있다. 예를 들어, 제약사 아스트라제네카(AstraZeneca)는 단 60분 만에 40만 건의 임상 시험 문서를 분석하고 주요 정보를 조직할 수 있는 에이전트를 구축했다. 의료 분야에서는 환자 메모와 검사 결과를 요약해 진료 지원에 활용하는 사례도 실현되고 있다.

한편 데이터브릭스는 이번에 유니티 카탈로그(Unity Catalog)도 개선했다. 오픈소스 분석 데이터 포맷인 아파치 아이스버그(Apache Iceberg) 테이블에 대한 지원이 강화되었고, 다양한 외부 컴퓨팅 엔진이 성능 유지와 거버넌스 하에서 데이터를 읽고 쓸 수 있도록 REST API를 제공한다. 이로써 기업들은 테이블 형식이나 엔진에 종속되지 않고 데이터 공유와 통합을 추진할 수 있게 됐다. 여기에 자연어 기반 데이터 탐색 도구와 핵심 비즈니스 지표 추적 기능도 추가되어 비즈니스 사용자 친화성이 한층 높아졌다.

또한 서버리스 GPU 지원 기능도 베타로 출시됐다. 이는 머신러닝과 생성형 AI 부담을 줄이고자 GPU 인프라 관리를 생략할 수 있는 기능으로, 특히 리소스가 부족한 스타트업이나 소규모 팀의 AI 실험을 가능케 한다.

이와 함께 오픈소스 머신러닝 툴 'MLflow'의 최신 버전인 MLflow 3.0도 공개됐다. 새롭게 도입된 구조인 'LoggedModel'을 통해 모델 가중치와 학습 시점의 코드가 직접 연계되며, 시각화 및 디버깅 기능이 더욱 강화되었다. 이로써 여러 실행 환경 간 성능 비교와 추적이 쉬워지고, 전체 개발 수명 주기의 거버넌스를 간결하게 유지할 수 있는 기반이 마련됐다.

데이터브릭스는 AI 개발의 불확실성과 비용 부담을 해소하는 것이 기업의 도입 확산에 핵심이라는 판단 하에 이번 기능들을 전략적으로 배치했다. 새롭게 발표된 에이전트 브릭스와 서버리스 GPU는 현재 베타 테스트 중이며, MLflow 3.0은 정식 출시됐다.