코딩 AI 평가 과제 322개로 확대…세 시험 점수 같은 비중

아티피셜 애널리시스(Artificial Analysis)가 코딩 에이전트 평가 과제를 290개에서 322개로 늘렸다. 코드 저장소 수정 시험의 과제가 늘고 명령줄 작업 시험의 채점 검증기가 바뀌었다.

아티피셜 애널리시스는 14일 현재 공개한 코딩 에이전트 지수 v2.1 방법론에서 세 시험 점수를 같은 비중으로 합산한다고 설명했다. 전체 과제 점수를 한데 모아 평균을 내는 방식과 달리, 과제가 많은 시험에 더 높은 비중을 주지 않는다.

v2.1은 오픈소스 저장소 수정 능력을 평가하는 FrontierCode-AA 2.0 132개, 명령줄 환경의 여러 단계 작업을 보는 Terminal-Bench 4.1 66개, 저장소를 읽고 질문에 답하는 SWE-Atlas-QnA-AA 124개 과제로 구성된다. 세 시험의 과제 수를 합하면 322개다.

각 과제는 세 차례 시도한 결과를 바탕으로 평가한다. 지수는 단일 모델의 정답률이 아니라 서로 다른 작업 유형에서 에이전트가 보인 성과를 함께 반영한다.

◇코드 수정 시험 32개 늘어

과제 수가 늘어난 이유는 FrontierCode 시험이 바뀌었기 때문이다. v2.0에서 사용한 FrontierCode v1.1은 100개 과제였고, v2.1의 FrontierCode-AA 2.0은 132개다. 다른 두 시험의 과제 수는 유지돼 전체 증가분 32개가 모두 이 시험에서 나왔다.

FrontierCode-AA 2.0은 실제 오픈소스 저장소에 적용한 변경 사항이 유지관리자가 병합할 만한지 평가한다. 필수 검사를 통과하지 못하거나 외부에서 정답에 해당하는 코드를 찾아 사용한 시도에는 0점을 준다.

Terminal-Bench 4.1은 4.0과 같은 66개 과제와 실행 환경을 유지하면서 검증기를 손봤다. 명령줄에서 여러 단계의 작업을 수행하는 에이전트가 작성한 코드를 채점하는 과정이 개편됐다.

에이전트가 작성한 코드는 채점 과정에서 낮은 권한을 가진 별도 프로세스로 실행된다. 올바른 풀이를 잘못 탈락시키던 검증 조건도 수정됐다.

터미널벤치 팀은 4.1 발표문에서 검증기를 개선하고 4.0에 저장된 결과도 새 검증기로 다시 채점했다고 밝혔다. 따라서 버전 사이에는 과제 수뿐 아니라 채점 방식의 차이도 있다.

SWE-Atlas-QnA-AA는 124개 과제로, 저장소의 코드를 직접 고치는 대신 코드를 읽고 질문에 답하는 능력을 평가한다. v2.0과 v2.1에서 과제 수가 같다.

아티피셜 애널리시스는 작업당 비용 계산 방식도 조정했다. 모델 제공사가 보고한 토큰 사용량에 통상적인 캐시 적중률의 실측치를 결합한다. 평가 과제와 일부 채점·비용 산식이 달라져 두 버전의 점수 차이를 모델 성능 변화로만 해석하기 어렵다.

◇순위는 모델과 실행 구성 함께 반영

공개 순위표의 각 항목은 모델 하나가 아니라 추론 설정과 실행 도구까지 포함한 에이전트 구성이다. 같은 모델이라도 어떤 도구와 설정으로 실행했는지가 점수에 반영될 수 있다.

방법론 문서는 v2.1을 설명한다. 14일 현재 공개 순위표는 v2.1과 세 평가 구성을 표시한다.

본지는 앞서 리워드 해킹 시도를 0점 처리하는 평가 기준을 반영한 지수 개편을 보도했다. 당시 다룬 v1.4 개편에 이어, 이번 v2.1에서는 코드 수정 과제와 명령줄 작업의 채점 검증기가 바뀌었다.