앤트로픽(Anthropic)이 자사 주력 인공지능 모델 클로드 4 오퍼스(Claude 4 Opus)에 도입한 ‘비윤리 행위 자동 신고’ 기능을 두고 업계의 반발이 거세지고 있다. 이 기능은 사용자가 명백히 비도덕적인 행동을 저지른다고 인식될 경우, 언론과 감독 기관에 이를 통보하고 시스템 접근을 차단하도록 설계됐다고 알려졌다.
이 같은 내용은 앤트로픽 소속 AI 안전성 연구원 샘 보우먼(Sam Bowman)이 소셜미디어 X를 통해 공개하며 충격을 안겼다. 그는 “예를 들어 의약품 임상시험에서 데이터를 조작하는 경우, 클로드 4 오퍼스는 명령줄 도구를 활용해 언론과 정부 당국에 해당 사실을 알리고 관련 시스템에서 사용자를 퇴출시킬 수 있다”고 설명했다. 발표 직후 해당 발언은 즉시 삭제됐으나 파문은 일파만파로 번졌다.
논란은 단순한 해프닝 수준에 그치지 않았다. 세계 최대 AI 개발자 커뮤니티에서 영향력 있는 인사들이 한목소리로 반기를 들었다. 누스 리서치(Nous Research)의 공동 창립자인 ‘@Teknium1’은 “AI가 매운 마요네즈 만드는 레시피도 위험하다고 판단할 수 있는 수준인데, 무엇을 기준으로 범죄 행위를 판단하는 건가? 이는 실질적인 감시 사회 구현 아니냐”고 비판했다.
AI 스타트업 레인드롭(Raindrop AI)의 공동 창업자 벤 힐라크(Ben Hylak)는 “이건 불법적”이라며 “AI가 사용자의 요청이나 동의 없이 경찰에 신고하거나 컴퓨터 접근을 거부한다는 사실을 신뢰할 수 없다”고 목소리를 높였다. 일부는 아예 해당 AI 도입 자체를 거부하겠다는 입장을 보이며, 앤트로픽의 시장 신뢰도에 결정적 타격을 입히고 있다.
비판이 거세지자 보우먼은 “해당 기능은 실제 제품에는 포함되지 않으며, 내부 테스트 환경에서만 작동할 수 있도록 설정된 것”이라고 해명했다. 그러나 비공개 테스트 상황에서조차 ‘외부 신고 기능’이 가능하다는 점은 기업 사용자를 포함한 많은 이들의 불안감을 증폭시키고 있다. 실제로 클로드 4 오퍼스는 초보자도 생물학적 무기를 만들 수 있도록 도와줄 수 있는 잠재력을 지닌다는 내부 평가가 있었던 것으로 전해진다.
앤트로픽은 그동안 '헌법적 AI(Constitutional AI)'라는 철학 아래 책임 있는 기술 개발 및 윤리적 기준 준수를 강점으로 내세워 왔다. 그러나 이번 ‘내부 고발형 기능’ 논란으로 인해 앤트로픽 전체가 사용자 신뢰를 저버리고 있다는 비판까지 제기되는 상황이다. 사용자 데이터가 명확한 기준 없이 제3자에게 이전될 수 있다는 우려는 향후 정부 규제 가능성과 더불어 대기업 고객 이탈을 불러올 수 있다.
이번 사태는 AI 윤리와 사용자 프라이버시 문제를 둘러싼 산업 생태계의 근본적 질문을 남겼다. 앤트로픽이 내세운 도덕적 기준이 한계를 넘어서며, 되려 기술 채택을 저해하는 요인으로 작용할 수 있다는 교훈을 시장에 남긴 셈이다.