AI 지수 60% 비공개…제미나이, 공개 가중치 최고점보다 27점 높아

인텔리전스 인덱스 v5 점수의 60%는 비공개 테스트 세트나 정답이 공개되지 않은 평가에서 나왔다. 제미나이 4 카본은 59점으로, 가중치가 실제 공개된 모델 중 최고점인 32점보다 27점 높았다.

아티피셜 애널리시스(Artificial Analysis)는 27일 ‘인텔리전스 인덱스(Intelligence Index) v5’를 공개했다. 새 버전은 지식 업무, 코딩, 과학, 일반 분야를 각각 25%씩 반영한다.

지수 공개 당시 앤트로픽(Anthropic)의 클로드 오퍼스 5.5(Claude Opus 5.5)가 58점으로 선두였다. 오픈AI(OpenAI)의 GPT-6 Astra와 GPT-6.1 Sol은 각각 57점, 55점을 기록했다. 구글(알파벳·$GOOGL)의 제미나이 4 카본(Gemini 4 Carbon)이 28일 순위에 오르면서 선두가 바뀌었다. 본지는 앞서 제미나이 4 카본 공개와 초기 평가 결과를 전했다.

지수는 아홉 가지 평가 결과에 각 평가의 가중치를 적용해 하나의 0~100점으로 종합한다. 각 분야의 비중은 같지만, 분야마다 포함되는 평가 과제와 모델이 수행해야 할 작업은 다르다.

v5에는 평가 두 개가 새로 들어왔고 기존 평가 세 개가 개편됐다. FrontierCode 2.0은 공개 소프트웨어 저장소의 코딩 과제를 다룬다. Terminal-Bench-Science는 명령어 입력 환경에서 과학 연구 작업을 수행하도록 설계됐다.

◇ 비공개 평가의 비중과 재현성

비공개 평가 비중을 높인 취지는 공개된 문제에 맞춰 모델 성능을 최적화하는 일이 점수에 미치는 영향을 줄이는 데 있다. v5 점수의 60%는 비공개 테스트 세트나 정답이 공개되지 않은 평가를 바탕으로 한다.

문제나 정답이 공개되지 않은 평가 결과는 외부에서 같은 조건으로 재현하기 어렵다. 평가 항목도 바뀌었기 때문에 v4.3과 v5의 점수 차이를 모델 자체의 성능 변화로 곧바로 해석하기는 어렵다.

언어별 평가 범위도 종합 점수의 해석에 영향을 준다. 아티피셜 애널리시스는 인텔리전스 인덱스가 주로 영어 기반 텍스트 평가라고 설명한다. 한국어를 포함한 다국어 능력은 별도 지표에서 측정한다.

v5 공개 당시 선두와 최고 오픈 웨이트 모델의 점수 차이는 12점이었다. 직전 v4.3에서 제시된 3점보다 커진 수치다. 당시 46점을 받은 Kimi K3.1 Pro는 최고 오픈 웨이트 모델로 분류됐지만, 가중치는 아직 공개되지 않았다.

현재 가중치가 실제 공개된 모델 가운데 최고점은 딥시크(DeepSeek) V4.1 Flash 1017과 GLM-5.3이 기록한 32점이다. 제미나이 4 카본의 59점과 비교하면 27점 차이다. 오픈 웨이트로 분류된 모델과 실제로 가중치를 내려받을 수 있는 모델을 나눠 봐야 하는 이유다.

지수 점수는 평가에 포함된 과제에서의 결과를 나타낸다. 실제 채택률이나 개발자 선호도를 직접 측정하지는 않으므로, 종합 점수만으로 특정 모델이 모든 업무에 더 적합하다고 단정할 수 없다.

제미나이 4 카본은 아홉 가지 평가 중 네 가지에서 최고 점수를 받았다. 다만 코딩과 지식 업무 분야에서는 선두가 아니었다. 종합 순위와 개별 작업의 평가 결과는 구분해서 볼 필요가 있다.

점수와 이용 가능 범위도 별개다. 아티피셜 애널리시스는 28일 제미나이 4 카본이 일부 사용자에게만 제공되고 있으며 일반 공개 전이라고 설명했다.

해커뉴스(Hacker News)의 공개 토론에서는 1점 차이가 실제 능력 차이를 뜻하는지, 비공개 평가를 외부에서 재현할 수 있는지를 두고 의문이 나왔다. 일부 이용자는 새 평가 체계가 오픈 웨이트 모델에 불리해 보인다고 주장했다. 이는 이용자들의 의견이며 평가 편향이 확인됐다는 의미는 아니다.