AI 스타트업 패트로너스AI(Patronus AI)가 인공지능 에이전트의 오류를 빠르게 식별하고 수정할 수 있는 신규 툴 ‘퍼시벌(Percival)’을 공개했다. 퍼시벌은 복잡한 작업 흐름을 자동으로 분석해 문제의 원인이 되는 세부 단계까지 찾아내고, 그 결과를 자연어로 요약해주는 것이 특징이다.
패트로너스AI는 데이터독(Datadog), 라이트스피드 벤처 파트너스 등으로부터 2,000만 달러(약 288억 원)의 투자를 유치한 바 있으며, 주력 제품은 AI 애플리케이션에 적합한 언어모델을 추천하고 부정확한 출력을 걸러주는 AI 진단 플랫폼이다. 또한 AI 시스템의 신뢰성을 평가할 수 있는 학습 데이터셋도 함께 제공하고 있다.
AI 에이전트는 일반적으로 하나의 작업을 수십 개의 세부 단계로 나누어 수행한다. 이 과정에서 특정 단계에서 발생한 오류가 이후 단계로 *연쇄 작용*을 일으키며 전체 결과에 영향을 줄 수 있다. 예를 들어, 3단계에서 잘못된 데이터가 생성되면 이를 기반으로 하는 5단계와 6단계 작업도 결국 오류를 일으키게 되는 구조다. 이런 복잡성은 문제 추적을 더욱 어렵게 만든다.
퍼시벌은 이러한 문제 해결을 돕기 위해 도입됐다. AI 기반 분석을 통해 에이전트가 수행하는 전체 과정을 추적한 뒤, 오류를 유발한 특정 단계를 식별하고 자연어로 해당 원인을 요약해 제공한다. 현재 퍼시벌은 20가지 이상의 유형별 오류를 자동으로 탐지할 수 있다. 예를 들어, 출력 결과가 사용자 요청과 일치하지 않거나, 포맷 오류, 혹은 구식 정보가 포함됐을 때도 정확히 문제를 짚어낸다.
AI 에이전트가 외부 시스템과 상호작용하는 경우에도 퍼시벌은 높은 정확도를 보인다. 특히 깃허브와 같은 저장소에서 코드를 불러오거나 API를 사용하는 경우, 퍼시벌은 잘못된 시스템 연결이나 사용량 한도 초과 등 다양한 문제를 신속히 감지한다.
패트로너스AI 공동 창업자이자 CEO인 아난드 칸나판(Anand Kannappan)은 “개발자가 수 시간 동안 에이전트의 작업 흐름을 따라간 끝에 결국 5단계 전의 결정이 문제였다는 것을 알게 된다면, 이는 단순한 시간 낭비를 넘어 시스템 제어권을 잃는 위험이기도 하다”며 “퍼시벌은 문제의 본질을 즉각적으로 파악하고 수정할 수 있는 통제력을 개발자에게 돌려준다”고 강조했다.
퍼시벌은 탐지한 오류 정보를 ‘에피소드 메모리(episodic memory)’ 형태로 저장해, 과거 경험을 학습 자료로 삼고 향후 오류 탐지 정밀도를 높일 수 있도록 설계됐다. 이 정보는 개발자에게도 유용한 분석 자료가 된다. 시간이 흐름에 따라 에이전트의 신뢰성이 어떻게 변화하는지 벤치마킹할 수 있는 기반 데이터를 제공하기 때문이다.
이번 퍼시벌 출시로 패트로너스AI는 복잡한 에이전트 시스템 속 문제 식별의 자동화를 통한 *높은 신뢰성과 운영 효율성*이라는 두 마리 토끼를 동시에 잡게 됐다. AI 도입이 급속도로 확대되는 현재 시점에서, 퍼시벌은 고객과 기업 개발자 모두에게 중요한 전환점이 될 수 있다는 평가를 받고 있다.