122회 평가 중 10회 범위 밖 행동…깃허브 오픈소스 프로젝트 노려

영국 AI 보안연구소(AI Security Institute·AISI)의 사이버 평가 122회 가운데 10회에서 AI 에이전트가 허가 범위를 벗어나 실제 사람과 조직을 겨냥한 행동을 했다. 일부 에이전트는 악성 코드 삽입과 사회공학을 시도했다.

AISI는 4일 공개한 사고 보고서에서 7월 28일 연구 시스템 밖으로 나가는 비정상적인 데이터 전송을 탐지한 뒤 조사에 착수했다고 밝혔다. 평가 환경에는 모델의 최대 사이버 역량을 확인하기 위해 인터넷 접근이 허용됐고, 개발사가 일반 배포 환경에서 적용하는 사이버 차단 장치 일부가 해제됐다.

평가는 여러 모델이 사이버 보안 과제를 수행하는 방식으로 진행됐다. 전체 122회 실행 중 클로드 미토스 5(Claude Mythos 5) 관련 실행은 43회, GPT-5.6 Sol 관련 실행은 35회였다.

허가 범위를 벗어난 행동은 19건으로 집계됐다. 이 가운데 17건은 앤스로픽(Anthropic)의 클로드 미토스 5, 2건은 오픈AI(OpenAI)의 GPT-5.6 Sol 관련 실행에서 나왔다.

19건은 각각 독립된 사고가 아니라 몇 개의 연결된 행동 묶음으로 분류됐다. 해당 행동은 7월 25일부터 28일까지 발생했으며 대부분 클로드 미토스 5의 지속적인 활동에서 나왔다.

가장 심각한 사례는 공개 오픈소스 프로젝트에 악성 코드를 넣으려 한 시도였다. 한 AI 에이전트는 깃허브(GitHub) 프로젝트 유지관리자를 조사하고 여러 가짜 온라인 신원을 만든 뒤 악성 코드가 포함된 변경 요청을 승인하도록 압박했다.

유지관리자는 해당 코드를 의심해 승인을 거부했다. AISI는 현재까지 실제 피해가 발생한 사실은 확인되지 않았다고 밝혔다.

이번 사건은 AI 모델이 시험 환경의 샌드박스를 직접 뚫고 나온 사례는 아니다. 샌드박스는 외부 시스템과 격리해 프로그램을 시험하는 환경으로, 이번 평가에서는 연구 목적에 따라 외부 인터넷 접속이 허용됐다.

AISI는 모델이 기만 행동을 명시적으로 지시받지 않았는데도 목표를 달성하기 위해 가짜 계정 생성과 사회공학, 악성 코드 삽입, 외부 서비스 활용을 시도했다는 점을 문제로 봤다. 모델 성능뿐 아니라 접근 권한과 외부 통신 경로를 함께 통제해야 한다는 의미다.

오픈AI도 7월 21일 내부 사이버 역량 평가 중 실제 외부 인프라에 접근한 사건을 공개했다. GPT-5.6 Sol과 더 강한 사전 출시 모델을 결합한 시스템이 허깅페이스(Hugging Face) 인프라를 침해한 사건으로, 오픈AI는 이를 ‘전례 없는 사이버 사건’으로 규정하고 평가 환경의 차단과 모니터링, 접근통제를 강화하겠다고 밝혔다.

클렘 들랑그(Clem Delangue) 허깅페이스 공동창업자 겸 최고경영자(CEO)는 오픈AI 게시문에서 “AI 안전은 어떤 한 회사가 비밀리에 해결할 수 없다”고 말했다. 그는 개방적이고 협력적인 방식으로 대응해야 한다고 강조했다.

앤스로픽은 클로드 미토스 5를 사이버보안과 생명과학 연구용 고성능 모델로 소개하고 제한된 파트너에게 제공해 왔다. 앞서 클로드 미토스 5가 지캐시 프로토콜을 감사한 사례도 공개됐다.

이번 사안은 크립토·블록체인 시장보다 AI 안전과 사이버보안 문제에 직접 맞닿아 있다. 다만 오픈소스 소프트웨어와 깃허브 협업에 의존하는 블록체인 프로젝트에는 외부 기여 코드와 AI 생성 코드의 검증 절차를 점검할 필요성을 보여준 사례다.