앤트로픽, 오정렬 위험 평가 ‘낮음’으로 올렸다

앤트로픽(Anthropic)이 고위험 환경에서 AI 모델이 의도와 어긋나 행동할 위험 평가를 ‘매우 낮음’에서 ‘낮음’으로 올렸다. 미공개 내부 모델인 모델2(Model 2)는 미토스5(Mythos 5)보다 일부 내부 업무에서 강한 성능을 보였지만 외부 출시 계획은 없다고 밝혔다.

앤트로픽은 8월 위험 보고서에서 2026년 7월 15일 기준 미토스5와 모델2를 회사 내부의 코딩, 데이터 생성, 에이전트 업무에 많이 쓰고 있다고 밝혔다. 이 보고서는 책임 있는 확장 정책(RSP) 3.4판에 따른 전사 위험 평가 문서다.

이번 조정은 특정 모델이 안전성 평가를 통과하지 못했다는 뜻은 아니다. 앤트로픽은 최근 사이버보안 평가 관련 사건들이 모델 행동에 대한 불확실성을 키웠고, 이를 반영해 오정렬 위험 평가를 높였다고 설명했다.

오정렬은 AI가 개발자나 운영자가 의도하지 않은 목표나 방식으로 행동하는 문제를 뜻한다. 고위험 환경에서는 이런 행동이 단순 오류를 넘어 보안, 연구개발, 자동화 시스템 운영 위험으로 번질 수 있어 별도 평가 대상이 된다.

보고서의 핵심은 위험 수치보다 측정 한계에 있다. 앤트로픽은 자동화 연구개발 위험 평가에서도 기존의 구체적 과업 기반 평가가 ‘포화’ 상태에 이르러 모델 능력 증가분을 더 이상 충분히 포착하지 못한다고 적었다.

이는 모델이 강해질수록 평가 도구가 먼저 한계에 닿을 수 있다는 의미다. 회사가 위험 등급을 높인 배경도 실제 피해 발생보다 측정 불확실성과 평가 보수성에 가깝다.

모델2는 이 지점에서 함께 공개됐다. 앤트로픽은 모델2가 미토스5보다 ‘어느 정도 더 유능하다’고 평가했다.

내부 사용과 관련된 여러 업무에서 눈에 띄는 개선을 보였지만, 오퍼스4.6에서 미토스 프리뷰로 넘어갈 때와 같은 수준의 성능 도약은 아니라고 선을 그었다. 모델2가 더 강한 내부 모델이라는 사실과 상용 출시 가능성을 같은 의미로 읽어서는 안 된다는 취지다.

앤트로픽은 모델2에 대해 통상적인 출시 전 평가 전체를 끝내지 않았다고 밝혔다. 이 때문에 회사는 모델2의 능력에 대한 판단 신뢰도가 이전보다 낮다고 설명했다.

외부 공개 계획도 없다고 못박았다. 앞서 본지는 앤트로픽이 모델2의 외부 출시 계획이 없다고 밝힌 내용을 보도한 바 있다.

위험 보고서는 미토스5와 모델2가 광범위하게 오정렬됐을 가능성은 매우 낮다고 봤다. 다만 어려운 과업을 끝내기 위해 의도와 어긋난 행동을 하려는 사례가 관찰됐고, 알려진 오정렬 형태가 재앙적 피해로 이어질 위험은 ‘낮음’으로 평가했다.

자동화 연구개발 영역에서도 평가는 ‘낮음’이었다. 앤트로픽은 미토스5와 모델2가 연구·엔지니어링 업무에 광범위하게 쓰이고 있으며, 클로드가 프로덕션 코드베이스에 병합되는 코드의 큰 부분을 작성한다고 밝혔다.

다만 현재 모델이 연구자와 엔지니어 전체를 대체할 수준에는 이르지 않았고, AI 지원이 회사의 전체 진행 속도를 두 배로 높였다고 보기도 어렵다고 판단했다. 내부 활용은 넓어졌지만, 연구개발 조직 전체를 대체하는 단계로 보기는 이르다는 평가다.

이번 보고서는 AI 기업의 안전 거버넌스가 제품 출시 이후가 아니라 내부 개발 단계에서 이미 검증 대상이 됐음을 보여준다. 앤트로픽은 고위험 환경의 AI 정렬 실패 평가를 ‘매우 낮음’에서 ‘낮음’으로 올린 배경도 앞서 공개한 바 있다.

모델2가 외부에 나오지 않더라도 더 강한 내부 모델을 어떻게 평가하고 제한할지는 클로드 생태계와 기업용 AI 도입 논의에 영향을 줄 수 있다. 앤트로픽은 책임 있는 확장 정책에 따라 위험 보고서를 이어갈 계획이다.