미국 AI 챗봇 이용자 표본의 33%가 챗봇에 욕설이나 모욕적 표현을 한 번 이상 보낸 것으로 조사됐다.
AI 검색 분석업체 Searchable는 11월 2일 공개한 분석 결과에서 사전 동의한 미국 패널 이용자들이 2025년 9월부터 1년간 챗GPT(ChatGPT)·제미나이(Gemini)·클로드(Claude)에 보낸 800만건 이상의 메시지를 살펴봤다고 밝혔다. 분석은 메시지를 보낸 이용자별로 욕설·모욕·비하 표현이 있었는지 집계했다.
표본의 33%는 세 챗봇 가운데 하나에 욕설이나 모욕적 표현을 한 차례 이상 보냈다. 이 수치는 클로드 이용자만 따로 집계한 비율은 아니다.
메시지에 입력된 전체 단어 1만개당 욕설·모욕·비하 표현은 19.1개였다. 부정적 표현이 포함된 메시지의 계기로는 지시 미이행이 19.0%, 오답이 18.1%, 요청 오해가 14.7%로 꼽혔다.
욕설이나 모욕이 포함된 불만 뒤 챗봇의 다음 답변에서 문제가 해결된 비율은 24%였다. 욕설 없는 정정 요청에서는 이 비율이 35%로 집계됐다.
앤트로픽(Anthropic)은 10월 8일 이용 정책 개정 안내를 공개했다. 새 조항은 11월 12일부터 시행됐다. 본지는 앞서 새 조항의 적용 범위와 시행일을 전했다.
새 규정은 이용자가 뚜렷한 목적 없이 모델을 반복적으로 잔인하게 대하는 극단적 사례를 겨냥한다. 일반적인 불만과 반박, 어두운 소재를 다룬 창작, 모델 시험과 연구는 적용 대상에서 제외된다.
주된 집행 수단은 클로드가 대화를 끝내는 기능이다. 앤트로픽은 2025년 8월 클로드 오퍼스 4와 4.1이 소비자용 채팅에서 드물고 극단적인 학대 대화를 끝낼 수 있도록 했다고 당시 설명했다.
앤트로픽은 여러 차례 대화 방향을 돌리려는 시도가 실패하고 생산적인 대화를 이어갈 가능성이 사라졌을 때 이 기능을 마지막 수단으로 쓰도록 했다. 대화가 종료돼도 이용자는 새 대화를 시작할 수 있다.
이용 정책은 위반이 의심되는 경우 경고하거나 이용 속도를 낮추고, 접근을 제한·정지·종료하는 조치도 규정한다. 이번 학대 조항의 주된 대응은 대화 종료 기능이라고 앤트로픽은 밝혔다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular