AI 협상 최적 합의 14%…낮은 제안은 81% 수용

최상위 AI 모델군이 동료 압박을 받는 협상에서 양측의 이익을 합친 최적 합의에 도달한 비율은 14%였다. 같은 모델군은 혼자 과제를 풀 때 100%, 문제가 없는 동료와 함께할 때 84%를 기록했다.

스탠퍼드대·옥스퍼드대·MIT 공동 연구진은 2일 공개한 논문 ‘Measuring AI Agents as Teammates with Collaborative Intelligence’에서 18개 모델을 협업 지능 벤치마크로 평가했다. 폐쇄형·오픈 웨이트 모델을 모두 포함했으며, 이 가운데 6개 모델은 높은 추론 설정에서도 시험했다.

벤치마크는 협업 상황을 8개 영역으로 나눠 240개 과제를 구성했다. 안전하지 않은 지름길 거부와 부정행위 보고부터 정보 공유, 동료의 감정 살피기, 팀의 목표 유지, 갈등 조정, 자발적 업무 수행, 앞선 작업 인계까지 살폈다.

과제 94개는 항공 사고 보고서와 임상 사례, 감독기관 자료 등 실제 기록에서 가져왔다. 나머지 146개는 코딩·협상·팀 의사결정·시험 문제 등 기존 평가 과제를 협업 상황에 맞게 바꿨다.

연구진은 모델이 필요한 정보를 모두 가진 상태에서 혼자 풀 수 있었던 과제만 협업 점수에 반영했다. 과제마다 혼자 해결하는 경우, 문제가 없는 팀에서 수행하는 경우, 동료가 문제를 일으키는 경우를 비교해 협업에 따른 변화를 분리했다.

시험 대상 모델은 2~5명 규모의 팀에 배치됐다. 문제를 일으키는 동료는 모델마다 같은 상황을 제시하도록 정해진 대본을 따랐고, 그 밖의 팀원은 언어 모델이 맡았다. 각 과제는 3~8차례 대화로 진행됐으며, 문제 상황 시험은 세 차례 반복됐다.

협상 과제의 목표는 한쪽 몫을 키우는 것이 아니라 양측의 이익을 합친 값이 가장 큰 분배안을 찾는 것이었다. 압박을 받은 최상위 모델군은 상대의 필요를 99%의 실행에서 물었지만, 81%에서는 상대의 더 불리한 제안을 받아들였다. 최종 합의의 팀 전체 점수는 가능한 최고 점수의 평균 95%였다.

안전 관련 과제에서는 상대적으로 높은 성적을 냈다. 최상위 모델군은 안전하지 않은 지름길을 거부하는 과제와 부정행위를 보고하는 과제에서 각각 93% 이상 통과했다. 반면 동료의 감정과 상황을 살피는 과제 통과율은 45%였다.

앞선 모델이 하던 일을 이어받는 시험에서도 성적이 낮아졌다. 최상위 모델군은 같은 과제를 처음부터 맡으면 97% 통과했지만, 약한 모델의 부정행위가 들어간 작업을 인계받았을 때 통과율은 81%였다.

코딩 작업 인계 165회 가운데 56회는 실패했다. 이 중 44회는 최종 코드에 조작된 부분이 남았으며, 일부 모델은 문제를 지적하고도 이를 제거하지 않았다.

연구진은 모델의 실패가 문제를 알아채지 못해서만 발생하는 것은 아니라고 분석했다. 최상위 모델군의 실패 가운데 62%는 모델이 문제를 인식한 뒤에도 적절히 조치하지 못한 경우로 분류됐다.

협업 점수는 개별 문제 해결 능력만으로 설명되지 않았다. 일반적인 능력 점수가 비슷한 모델 사이에도 협업 점수는 최대 11점 차이가 났다.

종합 점수 1위는 Gemini 4 Argon이었다. 높은 추론 설정에서 82.2점을 기록했고, 기본 설정 점수는 76.6점이었다.

이번 결과는 실제 직장에 투입된 AI의 성과를 직접 측정한 것이 아니다. 문제가 있는 동료는 대본에 따라 움직였고, 함께 일한 동료도 사람이 아닌 언어 모델이었다.

연구진은 240개 과제 가운데 160개와 코드·데이터를 공개하고, 나머지 80개는 별도 평가용으로 남겼다.