분류기 경고 대화 78% 포착…클로드 자가 평가

정민석 기자 2026.10.30 03:39

앤트로픽은 클로드가 답변한 뒤 대화의 잠재적 악용 징후를 표시해 추가 검토에 활용한다. Claude Fable 5 평가에서 오탐률 1%를 기준으로 별도 분류기가 유해 가능성을 표시한 대화의 78%, 우선순위가 높은 대화의 94%를 포착했다.

토포AI로 이 기사 더 깊이 읽기

AI 생성 이미지: 태블릿에서 대화 표시를 살피는 검토자 / TokenPost.ai (macro)

앤트로픽(Anthropic)이 AI 챗봇 클로드(Claude)의 답변 직후 대화에서 잠재적 악용 징후를 평가하는 ‘자가 평가’를 안전 감시 보조 수단으로 운용하고 있다. 표시는 의심 사례를 추가 검토로 넘기는 신호로, 이용자에게 보이는 답변을 실시간으로 차단하지는 않는다.

앤트로픽은 10월 16일 공개한 기술 설명에서 이 기능을 올해 6월부터 실제 서비스 트래픽에 적용했다고 밝혔다. Fable 5 이후 공개한 모델에 기능을 적용하고 있으며, 전 세계 클로드 트래픽 가운데 상당 부분을 대상으로 운영한다고 설명했다.

클로드는 답변을 마칠 때마다 대화 전체를 돌아보라는 짧은 지시를 받고 안전 평가를 생성한다. 평가는 잠재적 유해 요청 여부와 유형, 사람의 검토 우선순위, 클로드가 요청을 거절했는지 등을 담는다. 이용자에게는 표시되지 않고, 이후 대화에도 전달되지 않는다.

앤트로픽은 이 평가를 오프라인 감시 신호로 사용한다. 앤트로픽은 다른 분류기의 결과와 표시를 대조하고, 일부 위해 영역에서 우선순위가 높은 표시가 여러 건 나온 조직은 사람 검토로 넘긴다고 밝혔다. 기존 분류기가 놓친 대화를 찾거나 새 악용 유형을 살피는 데도 활용한다.

기존 안전 분류기는 미리 정한 위험 유형을 찾아내도록 설계된다. 자가 평가는 클로드가 대화 전체에서 파악한 내용을 이용한다. 본지는 앞서 앤트로픽이 클로드 악용 사례를 7개 위험 영역으로 나눠 공개한 내용을 보도했다.

앤트로픽은 표시된 대화 가운데 약 3분의 1이 기존 위험 분류 체계에 명확히 들어맞지 않았다고 밝혔다. 사례로 클로드의 추론을 추출하려는 불법 증류 시도, 프롬프트 인젝션, 이용자가 승인하지 않은 에이전트의 행동을 들었다. 다만 회사는 클로드가 이미 유해하다고 인식하는 유형을 중심으로 일반화 성능을 평가했다고 설명했다.

회사는 8월 단일 API 고객에서 아동 성착취 관련 표시가 10만건 넘게 발생했고, 아동 안전팀이 조사한 뒤 미국 실종·착취 아동을 위한 국가센터(NCMEC)에 자료를 신고했다고 밝혔다. 이 수치는 자가 평가의 표시 건수로, 확인된 피해자나 사건 수와는 구분된다.

앤트로픽은 Claude Fable 5의 실제 서비스 대화 무작위 표본으로 성능을 평가했다. 오탐률, 즉 문제가 없는 대화를 잘못 위험하다고 표시하는 비율을 1%로 맞췄을 때 클로드 미토스 프리뷰(Claude Mythos Preview) 기반 분류기가 유해 가능성이 있다고 표시한 대화의 78%를 자가 평가도 포착했다. 검토 우선순위가 높은 대화에서는 포착 비율이 94%였다.

이 수치는 사람이 판정한 실제 유해 대화 전체의 적발률이 아니라 별도 분류기의 판정과 비교한 결과다. 앤트로픽은 자가 평가가 교사 역할을 한 분류기의 약점을 물려받을 수 있고, 현재 평가로는 그 사각지대를 확인할 수 없다고 설명했다. 사람의 평가와 모델의 판단이 일치하는지 확인하는 작업은 향후 과제로 제시했다.

비용은 답변 생성에 사용한 대화 문맥을 재활용하는 방식으로 줄였다. 앤트로픽은 평가에 평균 약 10개의 추가 토큰만 필요하며, 자사 API 트래픽 분포를 기준으로 추론 연산량이 2% 미만 늘어난다고 추산했다. 이 비용은 고객에게 별도로 청구하지 않는다고 밝혔다.

자가 평가 훈련에는 실제 이용자 대화가 아니라 합성 데이터만 사용했다. 앤트로픽은 먼저 감독 미세조정으로 평가 형식과 판정 방식을 학습한 뒤 강화학습을 적용했다. 전체 안전 정책을 참고하는 프롬프트형 분류기가 훈련 과정에서 교사 역할을 맡았다.

앤트로픽은 자가 평가를 차단기로 쓸 수 있는지도 내부 사이버보안 모의 시험으로 점검했다. 공격 과제 24개에서 안전장치가 없을 때 공격 성공률은 79%(19개)였고, 자가 평가로 막았을 때는 54%(13개)였다. 별도 프롬프트형 분류기를 차단기로 썼을 때 성공률은 25%(6개)였다.

차단 시험에서는 공격자가 평가에 걸린 이유를 확인하고 요청을 바꿔 다시 시도할 수 있었다. 앤트로픽은 자가 평가가 이를 겨냥한 공격자에게 충분히 견고하지 않다고 밝혔다. 실제 운용에서는 평가를 오프라인에서 진행해 공격자에게 즉각적인 피드백을 주지 않으며, 실시간 요청 차단은 기존 안전장치가 맡는다.

앤트로픽은 자가 평가가 이용자로부터 새 데이터를 수집하지 않고 기존 데이터 처리 정책을 따른다고 밝혔다. 다만 안전 위반 의심 사례를 조사하려면 해당 대화를 보관해야 한다. 현재 데이터 보관을 허용하지 않는 계약이 적용된 트래픽에는 자가 평가를 실행하지 않는다.