28개 비교 중 17개 앞선 클로드 코드, 코드 영역 7대0
텐센트(Tencent)가 공개한 AI 코딩 에이전트 벤치마크에서 앤스로픽(Anthropic)의 클로드 코드(Claude Code)가 동일 모델 비교 28개 중 17개에서 코드버디(CodeBuddy Code)를 앞섰다. 코드 영역에서는 평가 대상 7개 모델 모두 클로드 코드로 실행했을 때 점수가 높아졌다.
텐센트 유투랩과 킨 시큐리티랩, 윈딩 시큐리티랩, 워크버디(WorkBuddy)는 실제 업무에서 역설계한 260개 과제로 구성된 워크버디 벤치(WorkBuddy Bench)를 공개했다. 과제는 △코드 80개 △웹 70개 △오피스 50개 △보안 60개로 구성됐다. 7개 모델을 코드버디와 클로드 코드 두 실행 하니스에 각각 적용해 성능을 비교했다.
하니스는 모델 바깥에서 문맥 관리와 도구 호출, 작업 실행을 맡는 에이전트 실행 계층이다. 이번 평가에서는 기반 모델이 같아도 하니스에 따라 결과가 달라졌다. 웹과 오피스 영역에서는 코드버디가 각각 4대3으로 앞섰고, 보안 영역에서는 클로드 코드가 4대3으로 우위를 보였다.
세부 점수에서도 차이가 나타났다. GLM-5.2의 웹 점수는 두 하니스에서 각각 67.43과 60.71로 갈렸고, GPT-5.5의 보안 점수는 77.91과 64.39를 기록했다. 리더보드는 코드버디 2.109.3과 클로드 코드 2.1.187을 기준으로 고정했으며, 각 점수는 think 모드에서 세 차례 실행한 평균으로 산출했다.
이번 결과는 AI 코딩 도구를 평가할 때 기반 모델뿐 아니라 실행 구조와 도구 제어 방식도 함께 살펴야 한다는 점을 보여준다. 클로드 코드가 웹에서 설정한 커넥터를 터미널과 API로 확장한 사례처럼 실제 업무 도구와 권한, 실행 환경을 연결하는 구조가 성능과 활용 범위를 좌우할 수 있다.
다만 평가 과제는 영역별 50~80개이고 비교 대상 하니스도 두 종류로 제한됐다. 블록비츠(BlockBeats)는 일부 커뮤니티 이용자가 어려운 문제를 추가하면 순위가 달라질 수 있다는 의견과 코덱스(Codex)가 비교 대상에서 빠졌다는 지적을 제기했다고 전했다.
워크버디 벤치는 공개 저장소와 허깅페이스(Hugging Face) 데이터셋으로 제공된다. 데이터셋에는 각 과제의 지시문과 작업 환경, 테스트 구성이 담겼다. 텐센트는 이를 연구용 프리뷰 리더보드로 제시하고 모델과 하니스 변경 사항을 반영해 업데이트할 예정이다.
검증 출처: 텐센트 워크버디 벤치, 워크버디 벤치 리더보드, 허깅페이스 데이터셋
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사
