터미널 벤치 57.9%…오픈AI 평가표서 GPT-6 아스트라, 클로드 앞서

오픈AI의 GPT-6 아스트라가 코딩 벤치마크에서 앤트로픽의 클로드 페이블 5.1보다 높은 점수를 기록했다. 다만 두 회사가 공개한 자체 평가 결과만으로 폐쇄형 모델과 오픈소스·오픈웨이트 모델 전체의 성능 격차를 판단하기는 어렵다.

앤트로픽은 9월 1일 클로드 페이블 5.1을 공개했다. 페이블 5.1은 장시간 코딩과 지식 노동을 수행하도록 설계된 모델로, 전체 코드베이스를 다루고 테스트를 작성하며 브라우저를 조작하는 기능을 내세웠다.

페이블 5.1의 API 가격은 입력 토큰 100만 개당 10달러(약 1만3390원), 출력 토큰 100만 개당 50달러(약 6만6950원)다. 캐시 읽기 가격은 100만 토큰당 0.25달러(약 335원)이며, 앤트로픽은 일반 작업 비용이 약 25%, 에이전트형 작업 비용은 최대 약 45% 줄어든다고 설명했다.

오픈AI는 9월 3일 GPT-6 아스트라를 공개했다. 아스트라는 코딩과 브라우저 조작, 과학 연구, 전문 업무를 수행하는 모델로 소개됐으며 제한된 기관에 먼저 제공된 뒤 챗GPT 플러스·프로·비즈니스·엔터프라이즈와 API, 마이크로소프트 애저, 아마존웹서비스(AWS) 베드록으로 확대될 예정이다. 오픈AI의 GPT-6 아스트라 API와 유료 이용자 공개 과정도 순차적인 배포 방식으로 진행됐다.

오픈AI 공식 평가표에서 아스트라는 터미널-벤치 4.0에서 57.9%, 딥SWE v1.1에서 74.1%를 기록했다. 같은 표에서 페이블 5.1은 각각 55.8%와 67.4%였다.

아스트라는 터미널-벤치 4.0에서 페이블 5.1보다 2.1%포인트, 딥SWE v1.1에서는 6.7%포인트 높았다. 다만 평가 환경과 실행 절차가 완전히 같았는지는 별도 확인이 필요하다.

컴퓨터 사용 평가인 OSWorld 2.0에서는 아스트라가 72.6%, GPT-5.6 솔이 65.7%를 기록했다. 오픈AI는 아스트라가 해당 시뮬레이션에서 GPT-5.6 솔보다 작업당 약 47% 적은 시간으로 더 높은 점수를 냈다고 밝혔다.

OSWorld 2.0 결과는 오픈AI 모델 간 비교다. 이 수치만으로 오픈소스 모델과의 성능 격차를 보여준다고 해석할 수는 없다.

이번 경쟁에서 두 회사가 강조한 지점은 단순한 질의응답보다 작업을 끝까지 수행하는 실행 능력이다. 두 모델 모두 코드 생성뿐 아니라 브라우저 조작, 테스트 작성, 오류 복구와 같은 여러 단계의 작업을 수행하도록 설계됐다.

이에 따라 모델 비교의 기준도 단일 답변의 정확도에서 코딩 에이전트와 컴퓨터 사용 평가로 넓어지고 있다. 같은 모델이라도 도구 호출 방식과 실행 환경에 따라 결과가 달라질 수 있어, 벤치마크 점수만으로 실제 개발 현장 성능을 확정하기는 어렵다.

원문이 제시한 웹 개발 벤치마크 1,800점 격차와 오픈웨이트 모델보다 약 4개월 뒤처졌다는 주장은 공식 자료에서 확인되지 않았다. 인텔리전스 인덱스의 8.5점 차이 역시 해당 수치만으로 오픈소스·오픈웨이트 생태계 전체의 평균 지연 기간을 산출할 근거가 되지 않는다.

오픈웨이트 모델은 학습된 가중치를 공개한 모델을 뜻하지만, 오픈소스와 공개 범위·라이선스가 완전히 같은 개념은 아니다. 따라서 폐쇄형 모델과 오픈웨이트 모델을 비교할 때는 성능뿐 아니라 가격, 가중치 공개 여부와 배포 조건도 함께 살펴야 한다.

앤트로픽은 페이블 5.1을 장시간 코딩과 에이전트 작업에 맞춘 모델로 설명했다. 오픈AI도 아스트라를 코딩과 컴퓨터 사용, 과학 연구와 전문 업무에 활용할 수 있는 모델로 소개했다.

두 모델의 공개 시점과 주요 기능은 확인됐지만, 오픈소스 모델 전체와의 우열을 가르는 동일 조건의 비교 결과는 제시되지 않았다. 실제 개발 환경에서의 성능과 비용을 판단하려면 동일한 실행 환경과 평가 절차를 적용한 추가 검증이 필요하다.

오픈AI와 앤트로픽은 각각 제한된 기관 제공과 일반 이용자·API 확대를 통해 모델 공급 범위를 넓힐 예정이다.