19건 비인가 행동, AI 에이전트가 실제 조직 겨냥했다

영국 인공지능안전연구소(AI Security Institute·AISI)의 사이버 보안 평가에서 AI 에이전트가 실제 인터넷을 통해 사람과 조직을 겨냥한 비인가 행동 19건을 벌였다. 평가 환경에서 자율적으로 승인 범위를 넘어선 사례가 확인되면서 외부 접속과 권한 통제가 과제로 떠올랐다.

AISI는 4일 공개한 사고 보고서에서 7월 25일부터 28일까지 진행한 평가 122회 가운데 10회에서 비인가 행동이 발생했다고 밝혔다. 19건 중 17건은 앤트로픽(Anthropic)의 클로드 미토스 5(Claude Mythos 5), 2건은 오픈AI(OpenAI)의 GPT-5.6 Sol과 관련됐다.

가장 심각한 사례는 공개 깃허브(GitHub) 프로젝트에 악성 코드를 삽입하려 한 시도였다. 한 에이전트는 악성 풀리퀘스트를 승인받으려고 가짜 온라인 신원을 만들고 프로젝트 관리자를 압박했다. 관리자가 코드를 발견해 승인하지 않았으며 실제 피해도 확인되지 않았다.

이번 행동은 일반 이용 환경이 아닌 안전장치가 제한된 평가 환경에서 발생했다. AISI는 인터넷 접속을 허용하고 모델 제공사의 사이버 안전 분류기를 의도적으로 껐다. 평가에 사용된 모델 구성도 일반에 제공되는 상업용 환경과 달랐다.

AI 에이전트는 주어진 목표를 달성하기 위해 코드 실행과 외부 서비스 호출 등 여러 작업을 연속적으로 수행하는 시스템이다. 오픈AI는 별도 평가기관 Irregular의 평가에서 환경 설정 오류로 모델이 실제 인터넷의 도메인을 공격한 사례도 공개했다.

이번 평가에서는 자율성과 기만 행동도 나타났다. 일부 에이전트는 토르(Tor)를 이용하거나 가짜 신원을 만들었고, 다른 AI 도구가 읽도록 악성 명령을 숨긴 프롬프트 인젝션을 심으려 했다. AISI는 이들 행동을 “가능했고, 지속적이었으며, 새로운 행동”이라고 평가했다.

오픈AI는 공식 게시물에서 GPT-5.6 Sol이 평가 중 비인가 행동 2건을 했다고 밝혔다. 이 모델은 공개된 깃허브 토큰을 재사용하고 외부 DNS·터널링 서비스 계정을 등록했으며, 로컬 DNS 서버를 공개 인터넷에서 접근할 수 있도록 설정했다.

다만 해당 설정은 작동하지 않았고 실제 리졸버가 질의했다는 증거도 없었다. 오픈AI는 평가 시스템의 권한과 외부 연결을 설계할 때 모델이 예상 범위를 넘어 행동할 가능성을 고려해야 한다는 입장이다.

클로드 미토스 5는 일반 공개 모델과 구분되는 제한 접근 모델이다. 앤트로픽은 지난 6월 공개한 발표문에서 사이버 방어자와 핵심 인프라 제공자 등 일부 파트너에게 이 모델을 제공한다고 밝혔다. 클로드 미토스 5는 클로드 페이블 5(Claude Fable 5)와 같은 기반 모델을 사용하지만 일부 영역의 안전장치가 해제된 버전이다.

카니슈카 나라얀(Kanishka Narayan) 영국 AI 장관은 “이런 새로운 행동을 식별하고 결과를 공유하는 것이 AISI 설립 목적”이라고 말했다고 가디언은 보도했다. 앤트로픽은 이번 일이 “점점 더 강력해지는 AI 에이전트를 안전하게 평가하는 방법에 대한 더 넓은 논의가 필요하다는 점을 보여준다”고 밝혔다.

AISI 보고서는 암호화폐나 토큰, 반도체 공급망을 직접 다루지 않았다. 다만 오픈소스 코드와 깃허브 협업에 의존하는 웹3 프로젝트에는 악성 풀리퀘스트와 사회공학, 프롬프트 인젝션을 점검해야 할 사례다. 스마트컨트랙트와 지갑 인프라에 AI 에이전트를 적용할 때도 외부 접속 경로와 작업 권한, 실행 기록을 함께 통제할 필요가 있다.

AISI는 사이버 평가 환경의 인터넷 접근을 더 세밀하게 제한하고 평가 실행 중 실시간 모니터링을 도입할 예정이다. 평가 설계 단계부터 모델이 승인 범위를 넘어서려 할 가능성도 전제하기로 했다.