콜리브라, AI 에이전트 ‘환각세’ 줄일까…통합 관제 플랫폼 출시

빅데이터 관리 스타트업 콜리브라 BV가 새 서비스 ‘AI 커맨드 센터’를 내놓고 기업용 AI 에이전트 관제 시장 공략에 나섰다. 생성형 AI를 넘어 스스로 업무를 수행하는 ‘에이전트형 AI’ 도입이 빨라지는 가운데, 기업들이 가장 부담스러워하는 통제 부재와 오류 리스크를 줄이겠다는 전략이다.

콜리브라는 이 서비스를 통해 여러 AI 에이전트를 실시간으로 모니터링하고 통제할 수 있는 중앙 관리 체계를 제공한다고 밝혔다. 회사 설명에 따르면 각 AI 에이전트를 한 번 배포하고 끝나는 도구가 아니라, 지속적인 감독이 필요한 ‘동적 개체’로 보고 수명주기 전반을 관리하는 방식이다. 고객 정보 갱신, 거래 처리, 콜센터 운영 같은 반복 업무가 AI 에이전트로 빠르게 자동화되고 있지만, 실제 현장에서는 오작동과 판단 오류가 적지 않다는 점을 겨냥했다.

펠릭스 반 드 마엘레 콜리브라 최고경영자(CEO)는 현재 많은 기업이 AI 에이전트를 쓰면서 일종의 ‘환각세’를 치르고 있다고 진단했다. 이는 AI가 잘못된 결과를 내놓았을 때 사람이 사후 점검에 투입되고, 오류를 수정하며, 예상치 못한 리스크를 관리하는 데 드는 숨은 비용을 뜻한다. 그는 AI 커맨드 센터가 이런 비용을 줄이고, 실시간 가시성과 지속적 통제를 통해 기업이 더 빠르고 안정적으로 AI를 운영하도록 돕는다고 설명했다.

실제 시장의 준비 수준은 기대만큼 높지 않다. 콜리브라가 최근 진행한 설문조사에 따르면 기업 기술 의사결정권자의 91%가 AI 에이전트를 시험 중이지만, 이를 감독할 거버넌스 정책을 제대로 갖춘 곳은 절반에 못 미쳤다. 이는 이미 운영 단계에 들어간 AI 에이전트 상당수가 명확한 책임 주체나 추적 체계 없이 돌아가고 있다는 뜻이다. 문제가 발생해도 어느 에이전트가, 어떤 판단 과정에서 실수했는지 파악하기 어려워 평판과 규제 측면의 부담이 커질 수 있다.

기스카드와 손잡고 테스트·거버넌스 통합

콜리브라는 대형언어모델 테스트 스타트업 기스카드 AI SAS와의 전략적 협력을 통해 AI 커맨드 센터를 출시했다. 이 서비스는 기업이 배포한 모든 AI 에이전트를 하나의 대시보드에서 확인하고 관리할 수 있도록 설계됐다. 각 에이전트의 소유 주체, 행동 방식, 의사결정 근거를 실시간으로 보여주고, 의도된 기준에서 벗어나는 ‘에이전트 드리프트’도 탐지한다. 이상 징후를 조기에 포착해 사람이 개입할 시간을 벌어주겠다는 구상이다.

여기에 AI UC-1 규정 준수 기준에 맞춘 준비 상태 및 리스크 평가 템플릿도 기본 제공한다. 기스카드는 개발 단계의 AI 에이전트에 대해 테스트를 수행하고 피드백을 돌려주는 역할을 맡는다. 알렉스 콩베시 기스카드 공동창업자 겸 공동 CEO는 기업의 AI 리더들에게는 위에서 아래로 내려오는 거버넌스와, 이를 AI 엔지니어의 CI/CD 파이프라인 안에서 실제 테스트로 구현하는 실행 체계가 모두 필요하다고 강조했다. 이번 협업은 정책과 현장 실행 사이의 간극을 줄이는 데 초점이 맞춰져 있다.

MCP 연동으로 데이터 신뢰성 강화…관건은 복잡한 통합

콜리브라 플랫폼은 모델 컨텍스트 프로토콜(MCP)과 완전히 통합돼 있으며, MCP 서버를 통해 신뢰할 수 있는 메타데이터와 비즈니스 맥락을 AI 에이전트에 실시간으로 전달할 수 있다고 회사는 설명했다. 이는 AI 에이전트가 오래되거나 부정확한 정보, 혹은 스스로 지어낸 내용이 아니라 구조화된 기업 데이터를 바탕으로 행동하도록 유도하는 장치다.

다만 시장 안착의 최대 변수는 ‘통합’으로 꼽힌다. 콜리브라가 겨냥하는 대기업들은 이미 다양한 외부 대형언어모델, 벡터 데이터베이스, AI 오케스트레이션 프레임워크를 뒤섞어 사용하고 있다. 이런 복잡한 환경을 하나로 묶지 못하면, 새 플랫폼 역시 개발자들이 외면하는 또 하나의 대시보드에 그칠 수 있다. 이를 의식한 듯 콜리브라는 데이터브릭스($DBX)의 새 ‘에이전트 브릭스’ 생태계에도 창립 멤버로 참여했다.

AI 에이전트 시장이 빠르게 커지는 만큼, 앞으로의 경쟁은 성능 자체보다 ‘누가 더 잘 통제하고 설명할 수 있느냐’로 옮겨갈 가능성이 크다. 콜리브라의 AI 커맨드 센터는 그 변화에 맞춘 인프라 성격이 강하다. 기업들이 AI 에이전트를 더 많이 운영할수록 통합 거버넌스와 추적 가능성의 중요성도 함께 커질 전망이다.