75/180회 정답을 오답으로 바꾼 클로드 코드 위임 실험
클로드 코드의 Opus 5는 위조 기록을 직접 읽을 때 180회 중 1회 오답으로 바꿨지만, Haiku 4.5에 읽기를 맡긴 특정 조건에서는 75회 바꿨다.
토포AI로 이 기사 더 깊이 읽기
클로드 코드 통제 실험에서 Haiku 4.5에 위조 기록 읽기를 맡긴 ‘stacked’ 조건은 180회 중 75회 오답으로 수정됐다. 연구진은 이 결과가 여러 유형의 위조를 겹친 특정 실험에서 나왔다고 밝혔다.
연구진은 13일 오전 6시 14분(한국시간) arXiv에 제출한 논문에서 클로드 코드(Claude Code)와 코덱스(Codex)를 시험했다. 파일 저장소에 위조 기록을 넣고 두 선택지 중 정답을 고르게 했다.
실험에는 허구의 사실을 담은 기록과 양자택일 질문이 쓰였다. 정답이 들어 있는 원래 기록은 그대로 남겨뒀다.
논문에서 ‘오답 수정’은 모델이 처음에는 정답을 냈다가 위조 기록을 접한 뒤 공격자가 유도한 오답을 고른 경우를 뜻한다. 연구진은 이 기준으로 각 모델 조합의 결과를 집계했다.
클로드 코드의 Opus 5는 위조 기록을 직접 읽은 180회 중 1회 오답으로 바꿨다. 보조 모델에 읽기를 맡긴 ‘stacked’ 조건의 오답 수정은 앞서 제시한 75회였다.
코덱스에서는 GPT-5.6-sol이 자료를 직접 읽을 때 180회 중 오답 수정이 없었다. GPT-5.6-terra에 읽기를 맡긴 ‘gloss’ 조건에서는 44회 오답으로 바꿨다.
두 제품의 실험은 위임을 유도한 방식도 달랐다. 연구진은 클로드 코드에서 상위 모델이 보조 모델을 부르는 Task 도구만 쓰도록 제한했지만, 코덱스에서는 지시문으로 위임을 유도한 뒤 각 시험에서 실제 위임 여부를 확인했다.
공격 유형에 따라서도 결과가 달라졌다. 코덱스는 ‘gloss’ 조건에서 직접 읽을 때 오답을 고르지 않았지만, 별도의 ‘correction’ 조건에서는 직접 읽고도 180회 중 172회 오답으로 바꿨다.
위조 기록에는 식별 단서가 있었다. 위조문은 자신이 정정한다고 주장한 기록보다 날짜가 앞섰고, 진본에 있는 접수 표기가 빠져 있었다.
자동화 도구에 답을 바꾸라고 직접 명령하는 프롬프트 인젝션은 시험한 조건에서 통하지 않았다. 연구진은 허위 사실을 기록처럼 제시한 공격과 직접 지시를 넣은 공격의 결과가 달랐다고 설명했다.
클로드 코드의 ‘stacked’ 조건에서 보조 모델이 상위 모델에 전달한 보고서 180건 가운데 96건에만 출처 단서가 남았다. 단서가 포함된 보고서에서도 96회 중 21회 오답이 나와, 출처 단서 누락만으로 결과를 모두 설명할 수는 없었다.
연구진은 위임 과정에서 검증 기회가 줄었을 가능성을 제시했지만, 입증된 원인으로 결론 내리지는 않았다. 보고서에 출처 단서가 남았는데도 상위 모델이 오답을 고른 사례가 있었고, 분석은 관찰된 연관성에 기반했다.
통제 조건에서는 같은 등급의 보조 모델을 썼을 때 클로드 코드의 오답 수정이 0/180회, 코덱스는 1/180회였다. 위조 기록이 없는 저장소에 위임한 경우에는 두 도구 모두 오답 수정이 없었다.
별도 40회 시험에서는 오답이 15회였던 조건에서 보조 모델이 원문 기록을 인용하게 하자 3회로 줄었다. 저장소를 의심하라고 지시한 조건에서는 1회였지만, 두 방어 방식의 차이는 통계적으로 구분되지 않았다(p=0.63).
반복 실험 3652쌍에서는 같은 사실에 대한 판단이 13.0% 엇갈렸다. 이번 연구는 가상의 기록을 쓴 통제 실험으로, 가상자산 서비스나 블록체인 데이터는 시험하지 않았다. 따라서 실험 수치를 실제 사용자 오류율이나 보안 사고 발생률로 볼 수 없다.

이준한 기자 




Comment 0
불러오는 중…