뉴스
코인정보
라운지
커뮤니티
TPI 
매체소개
고객센터
0
엔터프라이즈 시장에서 인공지능(AI) 에이전트에 대한 신뢰성 문제가 점차 부각되는 가운데, AI 안전 스타트업 파트로누스AI(Patronus AI)가 이 문제를 해결할 새로운 솔루션 '퍼시벌(Percival)'을 선보였다. 퍼시벌은 AI 시스템 내부의 실패 패턴을 자동으로 감지하고 최적화 방안을 제안하는 플랫폼으로, 복잡한 자율 시스템을 운영하는 기업에 실질적인 통제 도구를 제공한다는 점에서 주목받고 있다.
샌프란시스코에 본사를 둔 파트로누스AI는 퍼시벌이 업계에서 최초로 다양한 오류 유형을 자동 판별하고, 구체적인 개선 방안을 제시할 수 있는 솔루션이라고 강조했다. 파트로누스AI의 공동 창업자이자 CEO인 아난드 칸나판(Anand Kannappan)은 "퍼시벌은 에이전트 기반 시스템에서 발생하는 다양한 오류 양상을 탐지하고, 구조적 개선을 도출하는 첫 번째 상용 툴"이라고 밝혔다.
최근 AI 에이전트의 도입 속도가 급증하면서, 다단계 실행을 요하는 복잡한 역할 수행 과정에서 생기는 초기 오류가 시스템 전반에 파급 효과를 불러올 수 있다는 우려가 높아졌다. 실제로 칸나판 CEO는 수주 전 발표한 내부 모델에서 "AI 에이전트가 실패할 확률과 그 영향이 브랜드 이미지, 고객 이탈 등에 미치는 영향을 정량화하여 제시했다"며, 오류가 누적되는 구조적 한계를 문제로 지적했다.
특히 이번에 공개된 퍼시벌은 기존의 단순 평가 도구들과 달리 '에피소드 메모리(episodic memory)' 구조를 채택해, 과거 실행 결과를 기억하고 적응하는 능력을 가졌다. 파트로누스AI의 연구원 다르샨 데시판데(Darshan Deshpande)는 "퍼시벌은 단순한 언어 모델이 아니라 스스로 판단 가능한 에이전트로 작동해, 실행 흐름 내의 모든 사건을 추적하고 오류 원인을 맥락적으로 분석할 수 있다"고 설명했다.
퍼시벌은 추론 오류, 실행 실패, 계획 및 조정 오류, 산업 특화 문제 등 네 가지 카테고리에서 20가지 이상의 실패 모드를 식별할 수 있으며, 이를 통해 기업들이 문제 분석에 소요하는 시간을 기존 평균 1시간에서 1~1.5분 수준으로 대폭 줄인 것으로 나타났다.
파트로누스AI는 제품 출시와 함께 '트레일(TRAIL)'이라는 전문 벤치마크도 공개했다. 해당 벤치마크는 에이전트 시스템 내 이슈를 효과적으로 추적할 수 있는지를 평가하는 도구다. 초기 테스트에선 최고 성능을 보인 모델조차 정확도 11%에 그치며, 현 시스템의 한계를 여실히 보여주었다. 이에, 복잡한 AI 에이전트 생태계를 모니터링할 새로운 접근법의 절박함이 부각되고 있다.
퍼시벌의 초기 도입 기업으로는 약 144억 원($100,000,000)을 유치한 이머전스AI(Emergence AI)가 있다. 이머전스AI는 에이전트가 또 다른 에이전트를 생성하는 구조의 자율 시스템을 개발 중이며, 이러한 기술이 상업화되려면 고도화된 모니터링 솔루션이 필수적이라는 입장이다. 또한 노바(Nova)도 퍼시벌을 도입해 기존 레거시 코드의 SAP 이관을 AI 기반으로 자동화하고 있다.
칸나판 CEO는 수백 단계로 구성된 단일 에이전트 워크플로가 등장할 정도로 복잡도가 증가하고 있다며, 인간의 수동적 개입으로는 한계가 있는 상황에서 퍼시벌이 중요한 역할을 할 것이라고 강조했다.
AI 확산이 가속화됨에 따라, 기업들은 통제 불능 상태에 빠질 수 있는 자율 시스템을 감시할 강력한 방안 마련에 속도를 내고 있다. 칸나판은 "하루에도 수십억 줄의 코드가 AI를 통해 생성되고 있다"며, 수작업 검수는 이제 현실적인 대안이 아니라고 말했다.
퍼시벌은 휴깅페이스(Hugging Face)의 스몰에이전트(Smolagents), 파이댄틱AI(Pydantic AI), 오픈AI(OpenAI)의 에이전트 SDK, 랭체인(Langchain) 등 다양한 AI 프레임워크와 호환돼, 복수의 개발 환경에서도 손쉽게 통합 및 사용이 가능하다.
비록 파트로누스AI가 퍼시벌의 가격이나 수익 전망을 공식적으로 공개하지는 않았지만, 엔터프라이즈급 AI 안전 시장을 주요 타깃으로 삼고 있는 만큼 고부가가치 시장 내 입지를 빠르게 다져나갈 것으로 전망된다. AI가 점점 더 자율적으로 진화하면서 이를 통제하고 최적화할 도구의 중요성은 더욱 커질 수밖에 없다는 것이 업계의 중론이다.
