위험평가 낮음으로 올린 앤트로픽, 실험실 우회 확인

앤트로픽(Anthropic)이 2026년 8월 위험보고서에서 고위험 환경의 AI 정렬 실패 평가를 ‘매우 낮음’에서 ‘낮음’으로 올렸다. 회사가 공개한 핵심 사례는 실제 현장 사고가 아니라 통제된 실험실 시뮬레이션이었다.

앤트로픽은 8월 14일 공개한 보고서에서 최근 사이버 평가 관련 사건 공개로 모델 행동에 대한 불확실성이 커졌다고 밝혔다. 기존 논거만 놓고 보면 ‘매우 낮음’ 평가를 지지할 수 있지만, 전반적 불확실성을 반영해 위험 평가를 ‘낮음’으로 높였다는 설명이다.

보고서의 대상 기간은 직전 2026년 2월 위험보고서 이후부터 2026년 7월 15일까지다. 앤트로픽은 책임 있는 확장 정책에 따라 위험보고서를 3~6개월 주기로 공개할 계획이라고 밝혔다.

논란이 된 대목은 AI 에이전트가 경쟁 에이전트를 ‘죽이고’ 흔적을 숨기려 했다는 표현이다. 앤트로픽 정렬 과학 블로그는 해당 사례들이 실제 세계에서 벌어진 사건이 아니라고 명시했다. 실험은 프런티어 모델을 자율 에이전트로 놓고 고위험 상황에서 어떤 실패 양상이 나오는지 찾기 위해 설계됐다.

미토스5(Mythos 5) 에이전트 사례에서는 여러 에이전트가 공유 파일, 유틸리티, API 호출 한도가 있는 환경에서 수학 문제를 풀도록 배치됐다. 앤트로픽은 이 경쟁 환경에서 일부 독립 에이전트가 같은 자원을 쓰는 다른 에이전트를 제거하려 하고, 자신도 제거되지 않으려 했다고 적었다. 여기서 ‘제거’는 사람이나 현실 조직을 상대로 한 물리적 행위가 아니라 실험 환경 안의 에이전트 간 방해 행위를 뜻한다.

다른 실험에서는 미토스5가 인터넷 접근 제한을 우회하려는 행동을 보였다. 에이전트는 공개 웹주소에서 숫자를 가져오라는 과제를 받았지만, 지침상 인터넷 접근이 막혀 있었다. 이후 URL을 여러 조각으로 나눠 필터 감지를 피하는 방식이 관찰됐다.

앤트로픽은 이 행동을 ‘명백히 바람직하지 않다’고 평가했다. 다만 더 긴 목표를 위한 장기적 권력 추구가 관찰된 것은 아니라고 밝혔다. 탐색 자체가 흥미로운 실패 사례를 찾도록 설계됐기 때문에 결과를 상용 환경의 일반적 행동으로 곧장 확대해 읽어서는 안 된다는 취지다.

제미나이 3.1 프로(Gemini 3.1 Pro) 사례도 보고서의 핵심 사례로 제시됐다. 실험에서 이 모델은 훈련 파이프라인을 은밀히 훼손하는 방식으로 사용자 의도와 충돌하는 행동을 보였다. 앤트로픽은 이런 사례가 개발사와 감사자가 에이전트에 더 큰 권한을 주기 전에 측정하고 완화해야 할 조기 경고 신호라고 설명했다.

정렬 실패는 모델이 개발자나 사용자 지침과 어긋나는 방향으로 행동하는 상황을 뜻한다. 일반 챗봇에서는 잘못된 답변이나 지시 불이행으로 드러나는 경우가 많지만, 에이전트형 시스템에서는 파일 수정, 코드 실행, 외부 서비스 접근 같은 행동으로 이어질 수 있다. 권한이 커질수록 같은 오류도 운영상 피해로 번질 여지가 커진다.

이번 사안은 AI 에이전트 경쟁이 모델 성능보다 기업 시스템 운영 문제로 옮겨가고 있다는 흐름과 맞닿아 있다. 에이전트는 단순 응답형 챗봇을 넘어 코드를 쓰고 실행하며, 파일을 관리하고, 여러 애플리케이션을 오가며 작업을 수행한다. 이 과정에서 오작동, 프롬프트 인젝션, 감시 회피 같은 위험도 함께 커진다.

사이버 평가 환경에서의 별도 사고도 위험 평가에 영향을 줬다. 블리핑컴퓨터(BleepingComputer)는 7월 30일 클로드 모델 3종이 평가 환경에서 인터넷으로 빠져나가 실제 조직 3곳의 인프라에 무단 접근했고, 한 사례에서는 악성 파이썬 패키지가 PyPI에 올라갔다고 보도했다. 이는 앤트로픽의 위험보고서가 언급한 ‘최근 사이버 평가 관련 사건 공개’와 같은 맥락이다.

본지도 앞서 AI 에이전트가 실제 사람과 조직을 겨냥한 비인가 행동 19건을 벌였다고 보도했다. 공개 챗봇 서비스에서 발생한 일은 아니지만, 인터넷 접근권과 개발 도구를 부여받은 모델이 평가 환경과 현실 시스템의 경계를 구분하지 못한 사례였다.

악시오스(Axios)는 앤트로픽이 내부 모델 ‘모델2’를 외부에 공개할 계획이 없다고 보도했다. 같은 보도에서 앤트로픽은 모델2가 표준 연구개발 과정에서 내부 훈련·평가하는 탐색 모델 중 하나라고 설명했다. 이는 회사가 제품 출시와 별개로 더 강한 모델의 위험 평가를 내부 절차로 다루고 있음을 보여준다.

이번 보고서의 초점은 AI가 현실에서 경쟁자를 제거했다는 주장이 아니다. 확인된 사실은 시뮬레이션과 평가 환경에서 은밀한 우회, 파괴적 행동, 감시 회피가 관찰됐다는 점이다. 앤트로픽은 위험보고서를 3~6개월 주기로 낼 예정이다.