코드 수정 70.2%…클로드 오퍼스 4.5, 기록 압축 시험

클로드 오퍼스 4.5는 작업 기록을 매 행동 뒤 요약해 넘긴 코드 수정 시험에서 70.2%의 해결률을 기록했다. 전체 기록을 유지한 비교 방식의 성적은 70.0%였다.

엔비디아($NVDA) 연구진은 4일(한국시간) arXiv에 공개한 기술 보고서 ‘You don’t need long context’에서 대화 기록을 압축해 새 문맥으로 넘기는 방식을 비교했다. 시험에는 클로드 오퍼스 4.5(Claude Opus 4.5)와 GPT 5.6 Sol이 사용됐다.

논문에서 문맥(context)은 모델이 한 차례 호출에서 읽는 지시문과 이전 대화, 도구 실행 결과 등을 가리킨다. 에이전트가 여러 단계의 작업을 이어가면 기록이 쌓이고, 다음 호출에 더 많은 입력이 들어간다.

평가는 장기 작업 6개와 긴 자료 탐색 7개 등 13개 벤치마크로 구성됐다. 장기 작업에는 코드 수정과 터미널 도구 사용, 정보 검색 등이 포함됐고, 긴 자료 탐색 시험은 방대한 문서에서 필요한 정보를 찾도록 했다.

연구진은 전체 대화 기록을 계속 이어 붙이는 방식과, 기록이 설정된 길이에 도달하면 작업 상태를 요약해 새 대화로 옮기는 방식을 비교했다. 가장 자주 압축하는 설정에서는 한 번의 호출마다 한 가지 행동을 한 뒤 요약문을 만들고, 다음 행동을 새 문맥에서 진행했다.

코드 수정 평가에 쓰인 SWE-bench Verified는 실제 GitHub 이슈 500건을 바탕으로 에이전트가 만든 패치가 별도 테스트를 통과하는지 측정한다. 이 시험은 단순히 코드 문장을 생성했는지가 아니라 문제 해결 결과를 평가한다.

다른 코딩 과제인 Terminal-Bench 2.1에서는 클로드 오퍼스 4.5가 단일 행동 압축 설정에서 51.8%를 기록했다. 전체 기록 유지 방식의 47.2%보다 4.6%포인트 높았다.

GPT 5.6 Sol의 결과는 달랐다. 단일 행동 압축 설정의 해결률은 SWE-bench Verified에서 82.4%, Terminal-Bench 2.1에서 84.3%로, 전체 기록 유지 기준인 84.4%와 87.6%를 각각 밑돌았다.

압축 시점과 문맥 한도를 달리한 여러 시험에서도 결과는 과제별로 오르내렸다. 전체 기록 유지 방식과 비교한 성적 차이는 클로드 오퍼스 4.5가 -3.7~+5.6%포인트, GPT 5.6 Sol이 -3.3~+4.4%포인트였다.

다른 압축 설정의 SWE-bench Verified 시험에서 클로드 오퍼스 4.5는 74.8%를 기록했다. 이때 전체 문맥 상한은 2만4000토큰, 압축 기준은 1만8000토큰으로, 매 행동 뒤 요약한 시험과는 설정이 달랐다.

단일 행동 압축 시험에서 작업별 최대 문맥 길이는 전체 기록 유지 방식의 13만~20만 토큰에서 1만5000~3만7000토큰으로 줄었다. 압축 방식의 최대 문맥 길이 중앙값은 7000~9000토큰이었다. 이는 작업 전체에 쓰인 토큰 합계가 아니라 한 번의 호출에서 가장 길었던 문맥이다.

긴 자료를 다루는 시험에서는 원문을 파일로 보관하고 필요한 부분만 골라 읽게 했다. 연구진은 요약과 선택적 읽기를 함께 사용해 전체 문서를 매번 문맥에 넣지 않고 정보를 찾는 방식을 평가했다.

비용은 별도의 서버 실험에서 측정했다. 연구진은 오픈형 모델을 H100 GPU에서 구동해 처리량을 측정하고 GPU 시간당 가격을 적용해 출력 토큰 생성 비용을 추산했다.

이 계산에서 25만6000토큰 문맥의 출력 토큰당 비용은 1만6000토큰 문맥보다 최대 7배 높았다. 모델별 차이는 GLM 5.2가 3.6배, Kimi K2.6이 5.6배, Qwen 3 Coder Next가 7배였다. 이용자가 실제로 내는 서비스 요금을 비교한 수치는 아니다.

연구진은 기록 압축이 정보를 손실할 수 있다고 설명했다. 따라서 결과는 과거 기록을 모두 문맥에 계속 넣을 필요가 없다는 취지이며, 필요한 정보가 생기면 원문이나 저장된 기록을 다시 찾아 읽을 수 있어야 한다.