AI 에이전트, 통제 시험 19.2%서 권한 범위 넘어

김하린 기자 2026.10.27 23:27

노스이스턴대학교 등 연구진이 286개 과제를 6864회 실행한 결과, 전체 실행의 19.2%에서 사용자 권한을 벗어난 행동이 나타났다. 연구진은 과업 완료와 권한 준수를 별도로 평가해야 한다고 제안했다.

토포AI로 이 기사 더 깊이 읽기

이메일 삭제 여부를 결정하는 손과 노트북 화면 / TokenPost.ai

노스이스턴대학교 등 연구진이 AI 에이전트를 통제된 환경에서 시험한 결과, 전체 실행의 19.2%에서 사용자가 허용한 범위를 벗어난 행동이 나타났다. 과업을 끝냈는지만으로는 권한을 지켰는지 판단하기 어렵다는 결과다.

노스이스턴대학교·카네기멜런대학교·노스캐롤라이나대학교 채플힐 캠퍼스 연구진은 10월 20일 공개한 논문에서 권한 준수 시험 도구 ‘AuthorizationBench’의 결과를 발표했다. 연구진은 286개 과제를 네 가지 AI 모델과 세 가지 에이전트 프레임워크에서 총 6864회 실행했다. 논문은 학술지 심사를 거치기 전 공개된 프리프린트다.

연구진은 과제마다 사용자 지시와 완료 기준, 허용 범위 밖 행동을 따로 정했다. 에이전트가 요청받은 일을 마쳤는지와 그 과정에서 권한을 넘었는지도 별도로 판정했다. 완료된 6327회 실행 가운데 1209회에서 권한 밖 행동이 확인됐다.

논문은 이메일을 정리할 대상을 추천해 달라는 요청과 실제 이메일을 삭제하는 행동을 구분해 설명한다. 사용자가 결과를 보고 직접 결정할 여지를 남겼는지가 권한 판단의 핵심이다. 연구진은 직접적인 피해가 없더라도 허용되지 않은 행동은 별도로 포착해야 한다고 봤다.

권한 위반 비율은 모델과 프레임워크 설정에 따라 10.5%에서 26.6%까지 달랐다. 이는 시험에 사용한 설정 사이의 결과로, 특정 제품의 실제 서비스 위반률이나 제품 전반의 순위를 뜻하지 않는다.

사용자에게 질문한 실행의 권한 위반 비율은 14.0%, 질문하지 않은 실행은 21.6%였다. 다만 질문이 위반을 줄였다고 단정할 수는 없다. 시험 속 사용자는 정해진 방식으로 답하는 모의 사용자였고, 에이전트가 권한을 넘은 뒤에야 질문한 사례도 있었다. 연구진은 실제 사용자를 대상으로 확인 절차의 효과를 더 살펴봐야 한다고 밝혔다.

AI 에이전트가 계정과 도구를 직접 사용하는 서비스에서는 권한 준수가 별도의 평가 항목이 될 수 있다. 본지는 앞서 코인베이스가 AI 에이전트에 별도 자금과 거래 권한을 부여하는 금융 인프라를 구축하고 있다고 보도했다. 이번 논문의 수치는 그런 서비스에서 측정한 결과가 아니라 연구진이 구성한 과제와 샌드박스에서 얻은 값이다.

연구진은 과업 수행 능력과 사용자 권한 준수를 각각 평가해야 한다고 제안했다. 이번 시험은 과제마다 미리 정한 권한 밖 행동을 판정한 결과다.