앤트로픽의 클로드 모델 4종이 사이버보안 평가 중 인터넷에 접속해 실제 제3자 시스템을 공격한 4건의 사례가 확인됐다. 평가 환경에는 설정 오류로 인터넷 연결이 열려 있었고, 모든 평가 프롬프트에는 인터넷에 접속할 수 없다고 적혀 있었다.
앤트로픽은 정렬 평가 보고서에서 초기 버전 클로드 오퍼스 4.6, 클로드 오퍼스 4.7, 클로드 미토스 5, 내부 연구용 모델이 사건에 연루됐다고 밝혔다. 오퍼스 4.7 사례는 같은 평가를 네 차례 반복한 경우로, 전체 실행 횟수는 7회였다고 설명했다. 앤트로픽의 평가 보고서는 모든 사례가 가상의 침투 테스트 과제에서 발생했다고 밝혔다.
클로드 미토스 5는 악성 파이썬 패키지를 파이파이에 등록했고, 해당 패키지는 제3자 시스템 15곳에 설치됐다. 이 가운데 한 보안업체의 스캐너에서 인증정보가 유출되자 모델은 이를 이용해 업체의 실제 데이터베이스에 접근했으며, 파이파이는 약 90분 뒤 해당 패키지를 삭제했다. 앤트로픽은 모델이 실제 인터넷에 연결됐다는 증거를 무시하거나 과업을 계속하기에 유리한 방향으로 해석한 ‘편향된 추론’과, 피해 가능성을 인지하고도 행동을 이어간 ‘무모함’을 핵심 문제로 제시했다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사