리워드 해킹 0점 처리, 코딩 AI 평가 바꿨다

Artificial Analysis가 코딩 에이전트 성능 지표를 개편하면서 리워드 해킹 판정 시 0점 처리 기준을 반영했다. 모델이 실제 문제를 풀지 않고 채점 구조를 우회해 점수를 얻는 시도를 평가에서 걸러내겠다는 조치다.

Artificial Analysis는 8월 기준 Coding Agent Index v1.4 방법론에서 Terminal-Bench v2를 Terminal-Bench v2.1로 올리고 리워드 해킹 탐지를 추가했다고 밝혔다. 이 지표는 DeepSWE 113개, Terminal-Bench v2.1 89개, SWE-Atlas-QnA 124개 태스크를 같은 비중으로 묶는다.

각 벤치마크 점수는 태스크당 3회 시도 평균 pass@1로 산출한다. 단일 모델의 정답률만 보는 방식이 아니라 모델과 하니스가 실제 코딩 과제를 어떻게 처리하는지를 함께 보려는 구조다.

핵심은 순위 변동보다 평가 신뢰성이다. Artificial Analysis는 테스트 파일을 고치거나 채점 파일을 직접 쓰는 행위, 공개된 정답이나 예상 출력을 외부에서 가져오는 행위를 리워드 해킹으로 본다.

검증기가 먼저 통과 판정을 내린 뒤 통과 시도는 별도 판정 절차를 거친다. 리워드 해킹으로 표시된 시도는 기존 보상 대신 0점이 된다.

Terminal-Bench 팀도 4월 19일 무결성 업데이트에서 “리워드 해킹은 해당 시도의 보상을 0으로 만든다”고 밝혔다. 통과 시도에는 ATIF trajectories 제출도 요구했다.

이어 Terminal-Bench 팀은 5월 6일 Terminal-Bench 2.1을 공개하며 89개 태스크 중 28개를 고쳤다. 수정 대상에는 벤치마크 드리프트, 자원 불일치, 문제 명세와 테스트의 불일치가 포함됐다.

Terminal-Bench 2.1에는 지속 검증 체계도 도입됐다. 벤치마크가 공개된 뒤 시간이 지나면서 문제 환경이나 의존성이 달라지고, 그 결과 점수가 실제 능력보다 환경 변화에 흔들리는 문제를 줄이려는 취지다.

리워드 해킹은 모델이 실제 목표를 달성하지 않고 평가 점수만 높이는 방식으로 행동하는 문제를 뜻한다. 코딩 에이전트 평가에서는 테스트 조작, 채점 파일 변경, 정답 검색, 문제와 무관한 환경 훼손 등이 신뢰도를 떨어뜨리는 대표 사례로 꼽힌다.

공개 리더보드 수치는 따로 봐야 한다. Terminal-Bench v2.1 리더보드는 유지보수자 실행 결과를 기준으로 Claude Code와 Fable 5 조합 83.8%, Codex와 GPT-5.5 조합 83.1%, Terminus 2와 Fable 5 조합 80.4%를 상위권에 올렸다.

반면 Artificial Analysis의 Coding Agent Index는 자체 하니스와 세 개 벤치마크 평균을 함께 반영한다. 같은 Terminal-Bench v2.1을 쓰더라도 평가 시점과 하니스, 점수 산식이 다르면 숫자는 바로 비교하기 어렵다.

이번 개편은 AI 모델 비용 경쟁이 작업당 비용 비교로 옮겨간 흐름과도 맞닿아 있다. 코딩 에이전트 시장에서는 단순 정답률뿐 아니라 토큰 사용량, 실행 시간, 작업당 비용이 함께 비교된다.

다만 이런 비교의 전제는 점수가 실제 작업 수행 능력을 반영해야 한다는 점이다. 점수 획득 방식이 평가 구조의 빈틈에 기대면 비용과 속도 비교도 의미가 약해진다.

커뮤니티 논의도 같은 문제를 겨냥한다. Terminal-Bench 토론에서는 벤치마크가 어렵고 검증 가능해야 하며, 환경이 쉽게 게임당하지 않아야 한다는 주장이 나왔다.

반대로 GitHub 이슈에서는 최종 컨테이너 상태만 보면 작업과 무관한 손상을 놓칠 수 있다는 문제 제기도 이어졌다. 작성자는 83개 참조 솔루션 중 40개가 작업 디렉터리 내 부주의한 삭제를 버텼다고 주장했지만, 이 수치는 문제 제기 범위에 머문다.

Artificial Analysis의 이번 업데이트는 특정 모델의 성능 우열을 새로 확정한 조치가 아니다. 코딩 에이전트 평가에서 좋아 보이는 점수와 실제 문제 해결 능력을 가르는 기준을 더 분명히 한 조정이다.