머스크, 그록 4.8 열세 평가…오퍼스 5.5는 ‘걸작’ 호평

일론 머스크(Elon Musk) 스페이스X 최고경영자는 10일 “그록 4.8은 클로드 오퍼스 5.5만큼 좋지 않다. 오퍼스 5.5는 걸작이다”라고 말했다. 이번 발언은 동일 조건의 성능 비교 결과가 아니라 머스크의 평가다.

이 발언은 X에서 두 모델을 비교해 달라는 질문에 답하면서 나왔다. 머스크는 비교에 사용한 시험이나 점수를 공개하지 않았다.

머스크는 같은 날 다른 X 게시물에서 그록 4.8의 사전학습을 마치고 강화학습을 진행 중이라고 밝혔다. 본지는 그록 4.8의 강화학습 전환과 제한 시험 계획도 보도했다.

사전학습은 대규모 자료를 바탕으로 언어와 정보의 패턴을 익히는 단계다. 강화학습은 평가 결과를 반영해 모델의 답변 방식을 조정하는 과정이다.

머스크는 평가 점수가 오르기 시작했다고 썼지만 구체적인 수치는 제시하지 않았다. 이 발언은 개발 진행 상황에 관한 설명으로, 모델 간 성능을 측정한 결과와는 구분된다.

머스크는 10일 X 게시물에서 이번 주 그록 봇 이용자에게 그록 4.8을 제한적으로 공개해 반응을 살필 계획이라고 밝혔다.

앤트로픽(Anthropic)은 9월 22일 오퍼스 5.5를 공개했다. 모델은 클로드 서비스와 개발자 플랫폼에서 제공되며, 출시와 가격 인하 내용은 본지가 앞서 보도했다.

앤트로픽은 기본 설정으로 일반적인 작업을 실행할 때 오퍼스 5.5의 비용이 이전 모델 오퍼스 5보다 40% 낮다고 설명했다. 이 수치는 회사가 제시한 작업과 설정을 기준으로 한 비교다.

회사는 입력·출력 토큰 단가도 각각 20% 낮췄다고 밝혔다. 토큰 단가 인하율과 작업 한 건의 비용 감소율은 서로 다른 기준으로 집계한 수치다.

토큰은 AI 모델이 글과 코드를 처리할 때 사용하는 단위다. 모델 사용 비용은 토큰 단가뿐 아니라 작업의 길이와 처리량에도 영향을 받는다.

앤트로픽이 공개한 성능표에서 오퍼스 5.5는 Terminal-Bench 4.0에서 66.4%를 기록했다. 회사는 해당 점수의 표준오차를 ±2.6%포인트로 제시했다.

Terminal-Bench 4.0은 AI가 명령줄 환경에서 여러 단계로 구성된 작업을 수행하는 능력을 평가한다. 단일 질문에 대한 답변만 보는 시험과는 평가 대상이 다르다.

앤트로픽은 벤치마크 점수 차이가 실제 업무에서 나타나는 성능 차이를 그대로 보여주지는 않는다고 설명했다. 따라서 공개 점수는 해당 시험의 측정 결과로 읽어야 한다.

앤트로픽의 성능표에는 그록 4.8 점수가 없다. 오퍼스 5.5의 66.4%와 머스크의 평가를 같은 조건에서 나온 직접 비교 결과로 볼 수는 없다.

그록 개발사 SpaceXSI의 공식 안내와 개발자 문서에는 그록 4.7이 소개돼 있다. 해당 문서에는 그록 4.8의 성능표나 모델 사양이 올라와 있지 않다.