1271점으로 AA-3D 1위…클로드 페이블 5.2
AA-3D 순위에서 2위 클로드 소넷 5.5보다 67 Elo 높았다. 평가는 3D 장면 제작 결과물의 선호도를 측정하며 범용 성능이나 과제당 비용과는 별개다.
토포AI로 이 기사 더 깊이 읽기
클로드 페이블 5.2(Claude Fable 5.2)가 인터랙티브 3D 장면 제작 평가인 AA-3D에서 1271 Elo를 기록해 1위에 올랐다. 2위 클로드 소넷 5.5(Claude Sonnet 5.5)보다 67 Elo 높았다.
10일 확인한 아티피셜 애널리시스(Artificial Analysis)의 AA-3D 순위표에서 페이블 5.2는 ‘Max·기본 폴백’ 설정으로 1271±25를 받았다. 같은 설정에서 클로드 소넷 5.5는 1204±28, 클로드 오퍼스 5.5(Claude Opus 5.5)는 1202±28이었다. GPT-6 아스트라(GPT-6 Astra)는 1168±28, 제미나이 4 아르곤(Gemini 4 Argon)은 1147±30을 기록했다.
AA-3D는 AI 모델에 글로 된 요구사항을 주고 조작할 수 있는 3D 장면을 웹페이지로 만들게 하는 평가다. 평가 방법에는 회전하는 블랙홀과 핀볼 게임, 콜로세움을 비롯한 7개 분야의 과제 55개가 포함된다.
모델은 인터넷에 접속할 수 없는 환경에서 three.js 기반 장면을 제작한다. 각 모델에는 같은 요구사항과 도구가 주어지고, 과제당 한 번 시도할 수 있다. 작업은 최대 3시간 또는 에이전트 실행 250단계 안에 끝내야 한다.
완성된 장면은 실행 여부를 검사한 뒤 평가단에 제시된다. 작동하지 않는 결과물은 선호도 투표에서 제외된다.
평가단은 같은 과제로 만든 두 장면을 모델명을 모른 채 비교하고, 각 장면을 최소 30초 살펴본 뒤 선호하는 쪽에 투표한다. 아티피셜 애널리시스는 이 투표를 Elo 점수로 환산한다. 따라서 1271은 정답률이나 종합 지능 점수가 아니라 해당 평가에서 결과물이 받은 상대 선호 점수다.
앤트로픽(Anthropic)은 9일 공식 발표에서 클로드 페이블 5.2를 공개하며 복잡하고 장시간 이어지는 기술 작업을 겨냥했다고 밝혔다. 회사는 이전 버전보다 출력 속도가 최대 30% 빨라졌다고 설명했다. 본지는 앞서 클로드 페이블·미토스 5.2 출시와 API 요금 인하를 다뤘다.
앤트로픽의 페이블 5.2 모델 문서에 적힌 기본 요금은 입력 100만 토큰당 8달러(1만888원), 출력 100만 토큰당 40달러(5만4440원)다. 이는 이전 버전 요금인 입력 10달러, 출력 50달러보다 각각 20% 낮다. 이전 요금은 페이블 5.1 모델 문서에 기재돼 있다.
토큰 단가가 20% 낮아졌다고 실제 과제당 비용도 같은 비율로 줄어드는 것은 아니다. 사용량은 과제와 모델 설정에 따라 달라지며, AA-3D도 Elo 점수와 과제당 평균 비용을 별도 지표로 제시한다. 이번 1위는 같은 평가 조건에서 제작한 장면에 대한 선호도를 보여준다.
서지우 기자 




Comment 0
불러오는 중…