오픈AI의 새 모델 GPT-6.2 아스트라(GPT-6.2 Astra)가 3D 장면 제작 능력을 겨루는 평가 AA-3D에서 1318 Elo를 받아 1위에 올랐다. 2위 클로드 페이블 5.2(Claude Fable 5.2)와는 47점 차이다.
순위는 독립 평가업체 아티피셜 애널리시스(Artificial Analysis)가 운영하는 AA-3D 순위표에서 나왔다. 오픈AI는 17일(현지시간) GPT-6.2 아스트라와 함께 자매 모델 GPT-6.2 솔(GPT-6.2 Sol)을 공개했고, 순위는 그 직후 바뀌었다고 크립토브리핑(Crypto Briefing)은 보도했다. 솔은 같은 평가에서 1259 Elo를 받았다.
AA-3D는 AI 모델에 글로 된 요구사항을 주고, 조작할 수 있는 3D 장면을 웹 애플리케이션으로 만들게 하는 평가다. 여러 분야에 걸친 과제 55개로 구성된다.
채점은 사람이 한다. 평가자는 어느 모델이 만든 장면인지 모른 채 결과물을 비교해 더 나은 쪽을 고른다. 아스트라의 결과물은 152번의 맞대결 가운데 139번, 약 91% 선택을 받았다.
Elo는 상대평가 점수다. 다른 모델과의 맞대결에서 이기면 점수가 오르는 구조라 숫자 자체보다 경쟁 모델과의 간격이 의미를 갖는다. 아스트라와 페이블 5.2의 간격은 47점, 페이블 5.2와 솔의 간격은 12점이다.
AA-3D는 10월 12일 처음 공개됐다. 초기 평가에서는 앤트로픽과 오픈AI의 상위 모델이 비슷한 점수를 받았고, 11월 갱신에서는 페이블 5.2가 앞섰다.
본지는 앞서 페이블 5.2가 1271 Elo로 AA-3D 1위에 올랐다고 전했다. 10일 확인한 순위표에서 페이블 5.2는 2위 클로드 소넷 5.5를 67점 차로 앞섰고, 오픈AI의 이전 모델 GPT-6 아스트라는 1168점에 머물렀다. 페이블 5.2의 점수는 그대로였지만 새 모델 두 종이 들어오면서 1위 자리가 넘어갔다.
오픈AI의 코딩 도구 코덱스 사용량 화면에는 'gpt-6.2-astra'라는 표기가 먼저 나타났다. 당시 공개 API 모델 목록에는 해당 이름이 없었다.
아스트라는 아티피셜 애널리시스의 또 다른 평가인 AA-로보틱스(AA-Robotics) v0.1에서도 79점으로 가장 높았다. 솔이 78점, 페이블 5.2가 75점으로 뒤를 이었다.
크립토브리핑은 솔의 작업당 비용이 GPT-6 아스트라의 약 15% 수준이며, 아티피셜 애널리시스 지능 지수에서 57점을 받았다고 전했다. 오픈AI의 모델 구성은 순위표 상단을 차지한 고성능 아스트라와 비용을 낮춘 솔 두 갈래가 됐다.
기사요약 by TokenPost.ai🔎 시장 해석 오픈AI의 GPT-6.2 아스트라가 AA-3D에서 1318 Elo로 1위에 올랐다. 이달 초 1위였던 앤트로픽의 클로드 페이블 5.2(1271점)를 47점 차로 앞섰다. 인간 평가자의 블라인드 비교 152번 중 139번에서 아스트라 결과물이 선택됐다. 같은 날 공개된 GPT-6.2 솔도 1259점을 받았다.
💡 전략 포인트 Elo는 상대평가 점수라 새 모델이 순위표에 추가되면 기존 순위가 바뀔 수 있다. AA-3D는 3D 웹 애플리케이션 제작 능력을 재는 평가로, 다른 영역의 성능까지 대표하지는 않는다. 아스트라는 AA-로보틱스 v0.1에서도 79점으로 솔(78점)·페이블 5.2(75점)를 앞섰다.
📘 용어정리 AA-3D: 아티피셜 애널리시스가 10월 12일 공개한 인터랙티브 3D 장면 제작 평가. 과제 55개로 구성된다. Elo: 맞대결 승패로 점수를 매기는 상대평가 방식. 체스 등급 산정에서 유래했다. 블라인드 비교: 평가자가 어느 모델의 결과물인지 모르는 상태에서 우열을 가리는 방식.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular