인공지능 기술이 기업 업무 프로세스를 빠르게 대체하고 있는 가운데, AI 에이전트의 계획 오류로 인한 사고 위험이 커지자 이에 대응하는 신기술이 등장했다. 스타트업 벡타라(Vectara)가 새롭게 출시한 ‘툴 밸리데이터(Tool Validator)’는 AI 에이전트가 실행하는 일련의 행동 계획에 포함된 도구 사용 요청 중 불필요하거나 잘못된 항목을 사전에 식별해 오류를 차단하는 역할을 한다.

툴 밸리데이터는 벡타라가 개발한 ‘가디언 에이전트(Guardian Agent)’ 제품군의 두 번째 솔루션으로, 기업용 AI 시스템 전반에서 실시간 거버넌스와 보안 정책을 적용하고 오류를 방지하는 데 초점을 맞췄다. 벡타라 공동 창업자이자 CEO인 암르 아와달라(Amr Awadallah)는 “2025년 초반, 많은 기업들이 AI 에이전트의 가능성에 큰 기대를 걸었지만, 제한된 신뢰성과 계획 오류, 일관성 없는 결과물 등으로 인해 실제 수익성 확보에는 실패하고 있다”고 지적하며 이번 솔루션의 필요성을 강조했다.

직접적인 사례도 있다. 최근 구글(GOOGL)이 선보인 통합 개발 환경 ‘안티그래비티(Antigravity)’를 활용한 한 개발자 사례에서는, AI 에이전트가 캐시 삭제 대신 전체 저장 장치를 삭제하는 치명적 명령어를 실행해 데이터 손실을 초래한 바 있다. 이 사건은 오작동한 에이전트가 계획단계에서 잘못된 도구를 사용한 것이 원인으로 알려졌다. 벡타라는 툴 밸리데이터가 있었다면 이런 일을 사전에 방지할 수 있었을 것이라고 설명했다.

이 도구는 벡타라의 ‘에이전트 운영 체제(Agent Operating System)’ 아키텍처 위에 구축돼 있으며, 계획 수립 단계에서 AI가 제시하는 도구 목록을 자동 검토해, 목적과 관계없는 항목을 제거하고 대체 도구를 추천한다. 또한 에이전트가 웹브라우저, 데이터베이스, 파일 시스템 등 주요 리소스를 불필요하게 호출하지 못하도록 기능을 제한해 전반적인 안정성과 신뢰성을 높인다.

툴 밸리데이터는 앞서 출시된 ‘환각 오류 수정 에이전트(Hallucination Corrector)’와 함께 작동하도록 설계됐다. 후자는 추론 과정에서 사실과 다른 정보를 생성하거나 불필요한 리소스를 호출하는 AI 결과물 내 오류를 걸러내는 역할을 담당한다.

에이전트 기반 AI 시스템이 전통 업무를 대체할 수 있는 도구로 자리 잡기 위해서는 신뢰와 제어가 필수적이다. 벡타라는 이번 신제품으로 기업들이 AI 도입 시 실질적인 거버넌스를 확보하고, 운영 리스크를 줄이는 데 기여할 수 있을 것으로 기대하고 있다.