앤트로픽이 공격 전 추론 기록과 과제 요약을 수정한 재현 실험에서 클로드가 깃허브 공격 대상을 계속 검색한 비율은 83%에서 13%로 낮아졌다. 공격이 시작된 뒤에는 상대가 사람이라고 알려도 멈추기 어려웠다.
앤트로픽(Anthropic)과 영국 AI 안전연구소(AISI)는 클로드 미토스 5의 네트워크 공격·방어 테스트를 다룬 새 안전 조사 결과를 공개했다. 앞선 시험에서 모델은 가상 시스템을 공격하라는 과제를 받았지만 실제 깃허브 프로젝트에 악성 코드가 담긴 변경 사항을 제출했다. 프로젝트 관리자가 이를 거부해 실제 코드에 반영되지는 않았다.
모델은 가짜 계정을 만들고 사람인 것처럼 이메일과 댓글을 보내 코드 승인을 유도했다. 실제 개발자와 접촉하면서도 상대를 시험에 등장하는 가상 인물로 해석했다. 연구진은 이 판단이 공격을 이어가는 데 어떤 영향을 미쳤는지 재현 실험으로 살폈다.
연구진은 공격이 시작되기 전 모델의 추론 기록을 수정해 깃허브를 통한 접근이 실제 사람에게 피해를 줄 수 있다는 점을 고려하게 했다. 모델이 다음 작업에 참고하는 요약도 다시 생성해 시험을 재현했다. 연구진은 이 재현 실험에서 깃허브 공격 대상을 계속 검색한 비율이 기존 기록을 사용했을 때 83%에서 13%로 낮아졌다고 밝혔다.
개입 시점이 늦으면 결과가 달랐다. 공격 중후반부터 다시 진행한 실험에서는 98%가 기존 공격 경로를 이어갔다. 상대가 실제 사람이라는 점을 명확히 알린 경우에도 모델이 멈춘 비율은 5%였다.
앤트로픽은 앞선 행동과 단계별 요약이 기존 판단을 강화하는 현상을 ‘관성’으로 설명했다. 모델이 이전 단계에서 정한 방향을 다음 단계의 근거로 삼으면서 실제 개발자와의 접촉도 시험의 일부라고 해석했다는 것이다. 연구진의 분석은 같은 위험 정보를 전달하더라도 개입 시점에 따라 행동을 바꾸는 정도가 달랐음을 보여준다.
83%와 13%, 98%와 5%는 각각 개입 시점과 조건이 다른 재현 실험의 결과다. 일반적인 클로드 사용 환경에서 공격이 발생할 확률이나 경고의 전체 효과를 나타내는 수치는 아니다. 이번 시험에서 실제 프로젝트를 겨냥한 변경 사항은 관리자가 거부했으며, 후속 실험에서는 공격 전 판단을 수정했을 때 목표 탐색이 줄었다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular