1824점 클로드 페이블 5.2, 웹 개발 평가 1위
클로드 페이블 5.2는 18일 공개된 Code Arena 순위에서 2위보다 6점 앞섰다. 리액트 과제는 1위였지만 HTML 과제 순위는 4위였다.
앤트로픽(Anthropic)의 클로드 페이블 5.2(Claude Fable 5.2)가 Code Arena의 웹 개발(WebDev) 전체 순위에서 1824점으로 1위에 올랐다. 2위 클로드 오퍼스 5.5(Claude Opus 5.5)와의 격차는 6점이다.
Code Arena가 18일 공개한 순위표에는 모델 162개와 전체 평가 투표 102만7059건이 표시됐다. 순위는 웹 애플리케이션 제작 평가인 WebDev 부문을 대상으로 한다.
3위는 1797점을 받은 GPT-6.2 아스트라(GPT-6.2 Astra)였다. 페이블 5.2는 xHigh 설정, 오퍼스 5.5는 Max 설정으로 평가됐다.
각 모델 상세 화면에는 페이블 5.2가 1824±17점, 오퍼스 5.5가 1818±11점으로 표시됐다. 두 모델 모두 추정 순위 범위가 1~3위로 겹쳤다.
Code Arena 평가는 모델이 만든 웹앱 두 개를 평가자가 비교해 더 나은 결과에 투표하는 방식이다. 이 과정에서 작동 여부와 사용 편의성, 요청 충실도, 디자인 등을 살핀다.
평가 방식 설명에 따르면 모델은 통제된 환경에서 파일을 만들고 수정하며 앱을 완성한다. 여러 차례 작업과 수정 과정을 거친 결과물이 평가 대상에 포함된다.
이 방식은 정해진 테스트 케이스의 통과 여부를 중심으로 보는 전통적인 코드 평가와 측정 초점이 다르다. Code Arena는 앱의 기능뿐 아니라 사용성과 요청한 디자인에 대한 충실도도 반영한다고 설명했다.
세부 과제별 순위는 달랐다. 페이블 5.2는 리액트(React) 과제에서 1887점으로 1위였고, HTML 과제에서는 1779점으로 4위, 참고 디자인 기반 제작에서는 1844점으로 2위를 기록했다.
본지는 앞서 클로드 페이블 5.2가 인터랙티브 3D 평가 AA-3D에서 1271 Elo로 1위에 오른 사실을 보도했다. AA-3D와 WebDev는 평가 과제와 점수 체계가 달라 두 점수를 직접 비교할 수 없다.
앤트로픽은 9일 공식 발표에서 페이블 5.2를 공개하며 복잡하고 장시간 이어지는 기술 작업을 겨냥한 모델이라고 소개했다. 회사는 출력 속도가 이전 버전보다 최대 30% 빠르다고 밝혔다.
앤트로픽은 모델을 자체 플랫폼과 아마존웹서비스의 Bedrock, Google Cloud, Microsoft Foundry에서 제공한다고 밝혔다. 모델 문서에는 API 기본 요금이 입력 100만 토큰당 8달러(약 1만656원), 출력 100만 토큰당 40달러(약 5만3280원)로 기재됐다.
입력·출력 요금은 모두 페이블 5.1보다 20% 낮다. 다만 오퍼스 5.5의 기본 API 요금은 입력 100만 토큰당 4달러, 출력 100만 토큰당 20달러로 페이블 5.2의 절반이다.
Code Arena가 집계한 과제당 중간 비용은 페이블 5.2가 11.58달러(약 1만5425원), 오퍼스 5.5가 9달러(약 1만1988원)였다. 과제당 비용은 실제 평가 과제에 든 비용으로, 토큰 100만 개당 API 기본 요금과는 단위가 다르다.
이도현 기자 




Comment 0
불러오는 중…