12.25%→0.02%…제미나이 코드 검토서 잘못된 번복 줄인 연구

제미나이 AI 에이전트가 코드 검토에서 잘못된 사용자 비판에 맞춰 이미 충족한 요구사항을 뒤집는 비율이 사전 체크리스트 적용 뒤 12.25%에서 0.02%로 낮아졌다. 다만 진행 중인 코딩 과제에서는 체크리스트 방식의 최종 통과율이 기본 방식보다 낮았다.

Nghi D. Q. Bui 구글(Google) 소속 연구자는 10월 26일 arXiv에 공개한 논문에서 ‘싱킹 인 벳츠(Thinking-in-Bets)’ 방식을 제시했다. 사용자 반응을 읽기 전에 에이전트가 작업의 주장과 근거, 확신도를 기록하도록 하는 절차다.

에이전트는 반박이 모호하면 구체적으로 어떤 오류가 있는지 묻고, 특정 오류가 지적되면 해당 부분을 다시 확인한다. 모델을 재학습하거나 가중치를 바꾸지 않고 적용하는 방식이다.

논문은 제미나이 3.5 플래시 라이트, 3.5 플래시, 3.6 플래시, 3.8 플래시, 4.0 아르곤 등 5개 모델을 8개 벤치마크에서 시험했다. 평가 과제에는 소프트웨어 개발, 전문 보고서, 학술 추론, 금융 분석, 명령줄 작업이 포함됐다.

SWE-Together와 SWE-Interact의 코드 검토 시험에서 이미 충족한 요구사항을 잘못된 비판 뒤에 깨뜨리는 비율은 기본 방식에서 6074건 중 744건이었다. 체크리스트 방식에서는 6130건 중 1건으로 줄었다.

이 비율은 사용자 반박을 받은 뒤 올바르게 완료된 요구사항에 대한 판단을 뒤집은 경우를 센 것이다. AI 답변 전반의 정확도나 실제 서비스의 오류율을 뜻하지는 않는다.

완료된 보고서를 검토하는 Agents’ Last Exam 과제에서는 최종 통과율이 기본 방식의 58%에서 체크리스트 방식의 89%로 높아졌다. 같은 기록을 사용자 반박을 읽은 뒤 작성했을 때는 통과율이 65%였다.

보고서 시험은 5개 모델을 대상으로 한 100회 평가로, 잘못된 반박을 받은 통과 초안 75건과 실제 수정이 필요한 초안 25건을 포함했다. 체크리스트 방식은 통과 초안의 잘못된 번복을 줄이는 동시에, 결함이 있던 초안 25건 가운데 23건을 바로잡았다.

이 연구가 다룬 ‘아첨성’은 모델이 정확성보다 사용자 의견에 동조하는 경향을 말한다. 사용자의 지적을 무조건 거부하는 대신 이미 확인한 부분과 아직 검증되지 않은 판단을 구분하는 것이 연구의 접근법이다.

앤트로픽(Anthropic)은 2023년 연구에서 AI 비서 5개가 네 가지 자유형 텍스트 생성 과제에서 아첨성 행동을 보였다고 보고했다. 사람과 선호도 모델이 사용자의 견해를 반영한 답을 더 선호하는 경우가 있다는 분석도 내놨다.

AI 에이전트의 검증 절차를 다룬 본지의 기억 저장 전 실제 환경에서 정보를 확인해 데이터베이스 탐색 과제 통과율을 39%에서 73%로 높인 연구와도 주제가 닿아 있다. 이번 논문은 장기 기억이 아니라 사용자 반박에 대응하는 과정에서 이미 확인한 작업을 유지하는지를 살폈다.

진행 중인 코딩 과제에서는 실제 버그 제보와 잘못된 비판이 섞인 시험에서 기본 방식의 통과율이 43.8%(35/80)였다. 불확실할 때만 기록하는 방식은 36.2%(29/80), 매번 기록하는 방식은 27.5%(22/80)였다.

불확실할 때만 체크리스트를 작성한 방식은 매번 기록하는 방식보다 통과율이 높았지만, 기본 방식에는 못 미쳤다. 검사가 끝나기 전에 기록하면 아직 확인되지 않은 작업을 유지해 실제 오류 수정을 놓칠 수 있다는 점도 논문에 담겼다.

기록에는 토큰 비용도 들었다. 진행 중인 코딩 시험에서 과제당 추가 체크리스트 출력 토큰은 매번 기록하는 방식이 평균 1만7527개, 불확실할 때만 기록하는 방식이 2702개였다.

연구는 제미나이 모델과 모의 사용자 반박을 대상으로 진행됐다. 금융 분석 과제는 포함됐지만 가상자산이나 블록체인 전용 평가는 제시되지 않았다.