60점·74개 모델 중 4위…제미나이 4 카본 최고 추론 설정

구글(Google)의 인공지능 모델 제미나이 4 카본(Gemini 4 Carbon)은 최신 인공지능 종합지수에서 최고 추론 설정 기준 60점으로 74개 모델 중 4위에 올랐다. 작업별 벤치마크 결과는 과제에 따라 달랐다.

평가기관 아티피셜 애널리시스(Artificial Analysis)는 최신 지능지수 v5.0.1에서 카본의 최고 추론 설정인 High에 60점을 매겼다. 같은 페이지에서 Medium은 58점, Low는 54점이다.

구글은 10월 28일 발표에서 지능지수 v5.0 기준 카본이 59점으로 1위였다고 밝혔다. 본지는 당시 구글이 제시한 59점·1위를 보도했다. 두 결과는 지표 버전과 비교 모델 집합이 달라 같은 순위표에서의 상승이나 하락으로 해석할 수 없다.

구글 딥마인드(Google DeepMind)의 10월 기준 모델 카드에서 카본은 소프트웨어 개발 평가 FrontierSWE 2에서 61.2%를 기록했다. GPT-6 Astra는 65.5%, Claude Opus 5.5는 62.3%로 카본보다 높았다. 모델 카드에 나온 이 수치는 비교 모델과의 작업별 점수 차이를 보여준다.

명령줄 환경에서 과제를 수행하는 Terminal-Bench 4.0에서는 카본이 65.2%를 기록했다. 같은 표의 GPT-6 Astra는 59.1%, Claude Opus 5.5는 59.6%였다.

컴퓨터 조작 시험 OSWorld-2.1의 오프라인 하위 집합에서는 카본이 81.5%, Claude Opus 5.5가 87.2%를 기록했다. 이는 전체 시험 결과가 아니라 일부 과제의 점수다.

평가 방법에도 조건이 있다. 구글 딥마인드는 평가 방법론에서 별도 표기가 없는 카본·아르곤 결과는 pass@1 기준이며 가장 높은 추론 설정을 사용했다고 설명했다. 소규모 벤치마크는 여러 차례 시행한 결과를 평균했다.

비교 모델 점수는 별도 예외가 없으면 각 개발사가 자체 발표한 수치다. 카본의 일부 결과는 구글이 직접 계산했고, 일부는 외부 공개 순위표에서 가져왔다. 표에 나온 모든 점수가 같은 방식으로 측정된 것은 아니다.

구글은 카본을 복잡한 코딩과 긴 검증 작업을 위해 설계했다고 설명한다. 아르곤보다 더 많은 토큰을 쓰며, 추론 설정에 따라 품질과 지연시간, 비용을 조절할 수 있다는 것이다.

모델 카드에는 환각과 응답 지연, 시간 초과 가능성도 기재돼 있다. 따라서 벤치마크 점수를 실제 이용 환경의 속도나 안정성으로 곧바로 환산하기는 어렵다.

구글은 10월 28일 발표에서 카본을 일부 사이버보안 담당자에게 먼저 제공하겠다고 밝혔다. 발표문은 제공을 그 주부터 시작한다고 예고했다.

구글은 11월 10일 안내에서 유료 API 이용자와 기업 고객으로 제공 범위를 넓혔다. 개발자와 기업은 Google AI Studio API와 Gemini for business를 통해 이용할 수 있다고 밝혔다.

구글 AI 울트라(Google AI Ultra) 가입자에게는 제미나이 앱과 Google Antigravity, 검색 AI 모드로 순차 제공한다고 안내했다. 발표와 실제 이용 대상 확대는 서로 다른 단계다.

API 도입 가격은 입력 100만 토큰당 2달러(약 2700원), 출력 100만 토큰당 10달러(약 1만3400원)다. 할인은 11월 30일까지 적용되며, 이후에는 입력 100만 토큰당 4달러(약 5400원), 출력 100만 토큰당 20달러(약 2만6800원)로 오른다.

아티피셜 애널리시스가 제시한 지능지수 평가 과제당 비용은 표준 요금 기준 7.76달러(약 1만400원)다. 이 계산값에는 초기 할인 요금이 적용되지 않았다.