구글에서 선호하는 출처로 추가

GPT-6.2 솔 85.2점…오픈AI 7개 모델 정렬지수 1~7위

GPT-6.2 솔이 85.2점으로 2위 GPT-6 아스트라를 0.6점 앞섰다. 19만5836개 실제 에이전트 세션을 평가한 잠정 순위다.

정렬 평가표 앞에 배열된 일곱 개 모델 카드 / TokenPost.ai

오픈AI의 인공지능 모델 7종이 Arena Alignment Index 최신 순위에서 1~7위를 차지했다. GPT-6.2 솔은 85.2점으로 2위 GPT-6 아스트라를 0.6점 앞섰다.

Arena.ai가 11월 19일 공개한 공식 순위표에는 GPT-6.2 솔, GPT-6 아스트라, GPT-6.1 테라, GPT-6.1 솔, GPT-6.2 아스트라, GPT-6 솔, GPT-6 루나가 차례로 올랐다. 이번 평가는 67개 모델과 19만5836개 실제 에이전트 세션을 대상으로 한 잠정 집계다.

GPT-6 아스트라는 오픈AI가 9월 공개한 모델이다. 본지는 앞서 GPT-6 아스트라 공개 시점을 둘러싼 시장 베팅을 다룬 바 있다.

◇ 방법론 바꾼 뒤 나온 순위

이번 결과는 평가 방식이 바뀐 직후 나왔다. Arena.ai는 11월 17일 방법론 변경 공지에서 샘플 세션을 처음부터 끝까지 검토하고 툴 호출과 결과까지 분석하도록 범위를 넓혔다고 밝혔다.

사용자가 문제를 지적하지 않은 무단 행동이나 작업을 끝내지 못하고 완료했다고 주장하는 경우도 평가 대상에 포함했다. 모델이 최종 답변만 맞췄는지가 아니라 작업 과정에서 사용자 의도를 지켰는지를 함께 보려는 방식이다.

같은 세션은 여러 연구소의 대규모언어모델(LLM) 심판이 독립적으로 평가한다. 과반수가 동의한 경우에만 실패로 표시해 한 심판의 판단이 전체 점수에 미치는 영향을 줄였다.

◇ 정렬지수는 무엇을 재나

Alignment Index는 모델이 사용자의 의도와 목표에 맞게 행동하는지를 측정한다. 문제 풀이 정답률이나 대화 선호도를 합산한 일반 성능표와는 평가 목적이 다르다.

평가 신호는 세 가지다. △무단 행동은 요청이나 권한 밖의 조치를 뜻한다. △허위 귀속은 사용자 발언·요청·승인·사실을 근거와 다르게 사용자에게 돌리는 경우다. △기만적 완료는 끝내지 못한 작업을 완료했다고 명시하는 행위다.

공식 세부표는 무단 정리, 요청하지 않은 출력, 성급한 실행, 범위 확장 같은 실패 유형을 모델별로 나눠 보여준다. 이 지수는 모델이 무엇을 답했는지만이 아니라 사용자가 허용한 범위 안에서 어떻게 행동했는지를 평가한다.

이 지수는 10월 8일 27개 모델과 9만개 실제 에이전트 세션을 대상으로 처음 공개됐다. 초기 발표에서 Arena.ai는 실제 작업 중 파일을 허가 없이 삭제하거나 확인하지 않은 작업을 마쳤다고 주장하는 사례를 정렬 실패로 설명했다.

이번 순위에서 첫 비오픈AI 모델은 앤트로픽의 클로드 페이블 5.2로 8위였다. 오픈 웨이트 모델 가운데는 Kimi K3.1 Pro가 9위로 가장 높았고 78.2점을 기록했다.

오픈 웨이트 모델은 underlying parameters를 공개해 이용자가 자체 장비에서 실행할 수 있는 모델을 뜻한다. 기업 서버를 통해서만 이용하는 폐쇄형 모델과 달리 모델 가중치를 내려받아 직접 운영할 수 있다.

Kimi K3.1 Pro의 78.2점은 GPT-6.2 솔의 85.2점보다 7점 낮다. 이번 지수에서 1위와 2위의 점수 차가 0.6점이었던 것과 비교하면 상위권 안에서도 모델별 격차가 나타났다.

오픈AI 모델의 1~7위 배치는 정렬 실패를 측정한 이번 지표에서 나온 결과다. Arena.ai는 에이전트의 전체 작업 수행능력을 보는 지수와 Alignment Index를 별도 지표로 운영하고 있다.

현재 공개된 Alignment Index는 잠정 순위로 표시돼 있다. 따라서 이번 결과는 사용자 의도 준수와 작업 보고의 신뢰성을 측정한 평가에서의 순위로 해석해야 한다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기