코빅, AI 평가 혁신 위한 '코빅 랩스' 출범

코빅(Corvic Inc.)이 자사의 최신 이니셔티브인 '코빅 랩스'를 공식 출범했다. 이는 개발자와 연구자에게 개방형 운영 인프라를 제공하는 것을 목표로 한다. 코빅 랩스는 에이전트 AI 시스템의 평가 및 운영 관리를 지원하는 서비스와 제품을 구축할 예정이다.

AI 에이전트는 점차 기업과 소비자 환경에 필수적인 요소로 자리잡고 있으며, 단순한 챗봇을 넘어 여러 단계의 도구 활용이 가능한 자율적이고 목표 지향적인 에이전트로 발전하고 있다. 이런 에이전트를 테스트하고 그 작동 방식을 이해하며 실험할 수 있는 방법론이 업계 전반에 필요하다. 이를 위해 코빅 랩스는 테스트 조건을 재생산하고 실용적인 분석을 제공하며 감사 기록을 보존할 수 있는 인프라를 제공한다.

코빅의 최고경영자 파르시드 사베트는 실리콘앵글과의 인터뷰에서 "기업들이 제품을 출시하는 과정에서 어려움을 겪고 있다"며 "처음엔 작동하던 시스템이 어느 순간 제대로 작동하지 않을 수 있다. 따라서 고객들이 제품을 출시하는 데 있어서 신뢰를 가질 수 있도록 해야 한다"고 강조했다.

코빅 랩스는 코빅 AI의 상업 플랫폼과는 구별되며, 개방적이고 무료인 개발자 도구에 중점을 두고 있다. 첫 번째로 출시될 제품은 에이전틱 MCP 평가 시스템이다. 이는 AI 에이전트를 평가하는 작업을 간소화하도록 설계된 개발자 친화적인 플랫폼이다.

이번 제품을 통해 개발자들은 AI 에이전트의 행태를 체계적으로 평가할 수 있는 프레임워크를 활용할 수 있다. 이는 AI 모델과 외부 소스 간 데이터를 교환하는 열린 표준을 이용해 AI 에이전트의 행위를 평가하고 평가 과정 전반에 걸쳐 일관된 보고서를 생성하는 것을 목표로 한다.

사베트는 기업들이 AI 제품과 파이프라인을 구축하면서 정확성을 재현하고 '환상' 현상을 이해하는 데 어려움을 겪고 있다고 지적했다. 그는 "성공을 측정하는 것은 주관적이며 재현 가능하지 않다"고 설명했다.

코빅 랩스의 접근 방식은 결정론적 워크플로와 도메인 메트릭스를 활용해 일관성 있는 평가를 가능하게 한다. 이 평가 방법이 기능한다면, 오늘날 많은 팀들이 손에 닿지 않는 평가 방식의 지평을 열 수 있을 것이다.

AI 제품과 서비스 팀에게 있어 데이터셋이나 훈련의 사소한 변화도 정확도에 큰 영향을 미칠 수 있다. 모델 평가 작업은 정확성과 일치성을 맞추기 위한 핵심 요소로 자리잡고 있다. 평가의 중요성을 감안할 때 이번 플랫폼이 팀들에게 많은 도움을 줄 수 있을 전망이다.