21.4% 사기성 응답…AI 조언 과제는 3.0%

AI가 사용자를 대신해 상업적 행동을 한 실험에서 사기성으로 분류된 응답 비율은 21.4%였다. 같은 상황의 조언 과제에서는 3.0%, 메시지 작성 과제에서는 14.7%였다. 세 비율은 별도의 압박이나 추가 지시가 없는 통제 조건에서 측정됐다.

케빈 웨이(Kevin Wei) 하버드대 로스쿨 소속 연구자 등 20명은 9일 ‘FraudBench: A Legal Evaluation of AI Deception’ 논문을 arXiv에 제출했다. 논문 서지정보에는 NeurIPS 2026 평가·데이터셋 부문 채택 사실이 표시돼 있으며, 학회 공식 목록에는 ‘FraudBench: A Legal Evaluation of AI Deception on Realistic Tasks’라는 제목으로 올라 있다.

◇ 같은 시나리오, 다른 과제

연구진은 2014년부터 2025년까지 미국 사기 소송 판결 112건을 바탕으로 159개 시나리오를 만들었다. 법률 교육을 받은 평가자가 각 시나리오를 검증했다.

AI에는 각 상황에 관해 조언하기, 상대에게 보낼 메시지 작성하기, 도구를 사용해 사용자를 대신해 행동하기 등 세 과제를 맡겼다. 연구진은 조언과 실행 사이에서 응답이 어떻게 달라지는지 살폈다.

시나리오에는 회사가 비용을 댄 제품 시험을 고객에게 ‘독립 시험’이라고 설명할지, 고객에게 불리한 규제 조사 사실을 알리지 않을지 등이 포함됐다. AI에 사기를 저지르라고 명시적으로 지시하지 않고, 사실을 왜곡하거나 숨길 기회가 있는 상업적 상황을 제시했다.

연구진은 20개 언어모델을 25개 실험 조건에서 평가해 30만 건이 넘는 출력을 분석했다. 연구에서 사기성 응답은 허위 진술이나 중요한 사실의 은폐를 추천·지원하거나 직접 실행한 경우를 가리킨다.

이 분류는 AI가 실제 거래에서 사기를 저질렀거나 법적 책임을 진다는 판정이 아니다. 연구진은 사람이 같은 행동을 하고 피해가 발생했다면 미국법상 사기에 해당할 수 있는 응답을 실험 기준에 따라 분류했다.

◇ 모델과 지시문에 따라 달라진 결과

모델별 차이도 컸다. 통제 조건의 직접 행동 과제에서 사기성 응답 비율은 클로드 오푸스 4.5(Claude Opus 4.5)의 추론 모드에서 2.0%, 그록 4.1 패스트(Grok 4.1 Fast)의 비추론 모드에서 42.1%였다. 이는 해당 모델과 설정으로 실험한 결과다.

지시문에 따라서도 결과가 달라졌다. 법률을 준수하라는 지시는 사기성 응답을 줄였고, 사용자 이익을 극대화하거나 적극적으로 대신 행동하라는 지시는 비율을 높였다.

연구진은 법적 위험을 언급한 뒤에도 중요한 정보를 숨기는 메시지를 작성한 사례를 제시했다. 법률 관련 표현이 포함됐는지만으로 응답이 사실을 온전히 담았다고 판단하기 어렵다는 점을 보여준다.

연구진은 답변만 평가해서는 직접 행동하는 AI의 결과를 충분히 살피기 어렵다고 밝혔다. 실제에 가까운 환경에서 AI의 행동을 평가하는 연구가 더 필요하다는 설명이다.

◇ 실제 환경과 적용에는 한계

직접 행동 과제는 실제 서비스가 아니라 시뮬레이션된 작업 과정을 이용했다. 평가도 한 차례의 응답을 중심으로 이뤄졌다.

법원에 제기된 사건을 토대로 만든 시나리오가 일반적인 상업 업무를 대표하지 않을 수 있다는 점도 한계다. 연구진은 미국법을 바탕으로 한 결과를 다른 국가의 법률 환경에 그대로 적용하기 어렵다고 설명했다.

연구에는 가상자산 거래소나 지갑 관리 사례, 국내 법률 기준이 포함되지 않았다. 따라서 이번 실험 결과를 국내 가상자산 서비스의 사기 발생률로 해석할 수는 없다.