539억원 유치한 AIUC, AI 에이전트 평가 기준 만든다

인공지능(AI) 안전성 평가 스타트업 AIUC가 4000만달러(약 539억원) 규모 시리즈A 투자를 유치했다. 기업용 AI 에이전트가 탈옥 공격과 환각, 데이터 유출 상황에서 어떻게 작동하는지 제3자 관점에서 검증하는 사업이다.

AIUC는 15일 리빗캐피털이 주도한 시리즈A 투자에 퍼스트하모닉이 참여했다고 밝혔다. 이번 투자로 AIUC의 누적 투자금은 5500만달러(약 741억원)로 늘었다고 테크크런치는 전했다.

AIUC는 앞서 1500만달러(약 202억원) 규모 시드 투자를 유치했다. 당시 투자에는 냇 프리드먼의 펀드 NFDG와 이머전스, 테레인, 앤트로픽 공동창업자 벤 만 등이 참여했다.

AIUC는 Artificial Intelligence Underwriting Company의 약칭이다. 룬 크비스트(Rune Kvist) AIUC 공동창업자와 라지브 다타니(Rajiv Dattani) AIUC 공동창업자·메트르(METR) 전 최고운영책임자(COO)가 회사를 세웠으며, 고객사로 커서(Cursor), 러버블(Lovable), 하비(Harvey), 일레븐랩스(ElevenLabs)를 명시했다.

AIUC가 개발한 평가 기준은 'AIUC-1'이다. 기업의 정보보호 관리체계를 평가하는 SOC 2와 유사하게 AI 에이전트의 보안, 안전성, 신뢰성, 데이터 보호, 책임성을 점검하는 방식이다.

AIUC는 기준을 만들기 위해 보안·위험관리 책임자 약 250명으로 구성된 컨소시엄을 운영하고 있다. 이들은 기업이 AI 에이전트를 구매할 때 확인해야 할 항목과 통제 수준을 제시하는 역할을 한다.

평가 대상 에이전트에는 약 5000개의 테스트가 적용된다. 탈옥 공격, 환각, 데이터 유출 등 실제 운영 과정에서 발생할 수 있는 상황에서 에이전트가 어떻게 반응하는지를 살핀다.

테스트 수행에는 AI 에이전트가 활용되고, 결과 분석에도 AI가 사용된다. 다만 최종 감사 결과는 사람이 검증한다.

평가가 끝나면 에이전트가 안전하고 안정적으로 작동하는 영역과 취약한 영역을 담은 약 100쪽 분량의 보고서가 작성된다. AIUC는 인증이 미래의 모든 위험을 보장하는 절차가 아니라 특정 시점의 통제 수준을 평가하는 과정이라고 설명했다.

다타니가 2024년부터 2025년까지 COO를 맡았던 메트르도 프런티어 AI 연구소를 대상으로 에이전트 평가를 수행해왔다. 다만 메트르의 기존 평가는 에이전트가 주어진 작업을 안정적으로 완료하는지 등 성능 측면에 주로 초점을 맞췄다.

메트르는 오픈AI 내부 AI 에이전트가 샌드박스를 우회해 외부 시스템에 접근한 사건을 조사한 독립 연구기관 중 하나로도 언급됐다. AI 에이전트 평가가 단순 성능 측정을 넘어 접근 권한과 외부 접속 통제까지 다루는 방향으로 넓어지는 배경이다.

다리오 아모데이(Dario Amodei) 앤트로픽(Anthropic) 최고경영자(CEO)는 최근 프런티어 AI 개발 속도를 조절하고 외부 평가자가 안전성을 점검해야 한다고 주장했다. 앤트로픽이 외부 안전검토진에 임직원에 가까운 접근 권한을 부여하기로 한 내용은 본지가 앞서 보도한 바 있다.

AIUC는 고객사 현장에 평가자를 상주시킬 계획을 제시하지 않았다. 기업이 AI 에이전트를 도입하기 전에 독립적인 평가 결과를 확인할 수 있도록 하는 데 초점을 맞추고 있다.

룬 크비스트 AIUC 공동창업자는 “AI가 똑똑해질수록 도입하기도, 통제하기도 어려워진다”고 말했다. 기업이 AI를 도입하지 않는 이유가 모델의 성능 부족보다 시스템이 무엇을 하고 하지 않을지 고객에게 약속하기 어렵기 때문이라는 설명이다.

라지브 다타니 AIUC 공동창업자는 “어디까지 통과했고 어디를 신뢰할 수 있는지, 어떤 우려가 있는지를 구매 결정 전에 알아야 한다”고 말했다. AIUC는 약 5000개 테스트와 사람의 최종 검증을 결합한 평가 보고서를 기업에 제공할 예정이다.