GLiDE, System One 성능 선두에도 판단 신뢰성 7위

SO-Arena 평가에서 GLiDE는 System One 모델 가운데 종합 성능이 가장 높았지만, 판단 신뢰성 순위는 18개 모델 중 7위였다. 전체 종합 성능에서는 System Two 기준 모델 두 개가 더 앞섰다.

연구진은 11일 arXiv에 제출한 논문에서 11개 분야의 2,919개 과제로 21개 모델을 비교했다. 논문 제출본의 평가 대상에는 System Two 기준 모델 2개와 추가 추론 여부를 자동으로 정하는 모델 1개도 포함됐다.

System One 모델은 긴 답변을 생성하는 대신 입력된 정보와 미리 정해진 선택지를 바탕으로 판단을 내린다. 결과는 선택지별 점수나 확률처럼 소프트웨어가 바로 처리할 수 있는 구조로 나온다.

과제는 공개 데이터셋·벤치마크·환경 40곳에서 구성됐다. 고정 입력을 판단하는 정적 과제는 2,300개였고, 웹이나 도구 환경과 상호작용하는 과제는 619개였다. 환경 기반 과제는 웹 337개와 도구 사용 282개로 나뉜다.

평가 분야는 △감정·정서 이해 △의도 분류·라우팅 △수학 △코드 이해 △과학 추론 △지식·상식 △안전 △검색·재순위화 △작업 완료 검증 △도구·API 사용 △텍스트 기반 웹 상호작용이다. 연구진은 이를 의미 이해, 지식·추론, 안전·정책 준수, 증거 평가, 에이전트 과업 완료 등 5개 능력군으로 묶었다.

능력 점수는 11개 분야를 같은 비중으로 반영하고, 분야별로 난도가 높은 과제를 중심으로 산출했다. 다만 난도 구분은 분야마다 달라 점수만으로 서로 다른 분야의 과제 난도를 직접 비교할 수는 없다.

논문의 종합 성능 점수는 GPT-6 Sol이 82.3점, GPT-6 Luna가 79.7점이었다. System One 모델 중 가장 높은 GLiDE는 70.2점으로, 두 System Two 기준 모델보다 낮았다.

속도 측정에서는 오픈 웨이트 System One 모델들이 H100 GPU 한 장에서 과제당 0.3초 안에 응답했다. 연구진은 이 속도가 GPT-6 Sol과 GPT-6 Luna보다 수십 배 빠른 수준이라고 제시했다.

신뢰성 평가에서는 같은 과제의 선택지 순서를 12차례 바꾸고 원래 선택한 답을 유지하는지 살폈다. 이는 선택지의 배열이 달라졌을 때 모델의 판단이 흔들리는지를 보는 시험이다.

연구진은 정답 선택지를 제거한 과제도 제시했다. 모델이 유효한 답이 없다는 점을 알아차리는지 확인하기 위해서다.

논문에서 신뢰성 점수는 선택지 순서 변화에 대한 안정성과 정답 부재 감지 결과를 결합해 산출했다. 따라서 이 점수는 정답률 전체나 실서비스의 안정성을 뜻하지 않는다.

신뢰성 1위는 JevAny-27B였다. 이 모델은 21개 모델 전체의 종합 성능 순위에서는 11위여서, 성능 순위와 신뢰성 순위가 일치하지 않았다.

추가 추론의 효과도 분야별로 달랐다. StartLux Auto는 수학 과제에서 추가 추론을 항상 켠 조건에선 92.5점, 끈 조건에선 50.8점을 받았다. 규모를 비교한 일부 실험에서는 작은 모델과 큰 모델의 기반 버전도 달라 모델 크기만의 효과를 분리하기 어려웠다.

평가 대상에는 TypeSafe AI의 제브(Jev) API 1.14도 포함됐다. 제브가 문장 대신 선택지와 확률을 반환하는 모델이라고 본지가 앞서 소개했다. 이번 연구는 이 유형의 모델을 분류·라우팅뿐 아니라 웹 작업과 도구 사용 과제에서도 평가했다.