벤치마크 1위 모티프, 독파모 2차 평가 탈락

정부 독자 인공지능(AI) 파운데이션 모델 프로젝트 2차 평가에서 벤치마크 합계 1위를 기록한 모티프테크놀로지스가 최종 탈락했다. 종합점수는 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프테크놀로지스 65.8점 순이었다.

과학기술정보통신부는 27일 보도참고자료에서 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 세부 점수를 공개했다. 상위 3개 팀은 다음 단계로 진출했고 모티프테크놀로지스는 4위로 탈락했다.

2차 평가는 100점 만점으로 진행됐다. 배점은 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점이었다.

벤치마크는 글로벌 평가기관 아티피셜 애널리시스(Artificial Analysis)의 AAII 평가 25점과 한국지능정보사회진흥원(NIA) 벤치마크 15점으로 구성됐다. 모델의 기초 성능과 한국어 능력, 신뢰성 등을 함께 보겠다는 구조다.

모티프테크놀로지스는 벤치마크 합계에서 24.6점을 받아 네 팀 중 가장 높았다. AAII 평가에서도 11.9점으로 1위였다.

NIA 벤치마크에서는 12.7점을 받았다. 그러나 벤치마크 전체로는 업스테이지 22.7점, SK텔레콤 22.2점, LG AI연구원 20.6점을 앞섰다.

당락은 전문가 평가와 사용자 평가에서 갈렸다. 전문가 평가는 LG AI연구원이 29.5점으로 1위였고 SK텔레콤 29.3점, 업스테이지 29.1점, 모티프테크놀로지스 27.1점 순이었다.

사용자 평가는 SK텔레콤 19.1점, LG AI연구원 18.9점, 업스테이지 18.1점, 모티프테크놀로지스 14.1점이었다. SK텔레콤과 모티프테크놀로지스의 최종 점수 차이는 4.8점으로, 사용자 평가 격차 5점이 결과에 직접 영향을 준 셈이다.

사용자 평가는 AI 전문 사용자진과 일반 국민 평가를 합산한 점수다. AI 전문 사용자 평가는 실제 49명이 참여했고 일반 국민 평가는 실제 185명이 참여했다. 모티프테크놀로지스는 AI 전문 사용자 평가에서 8.4점, 일반 국민 평가에서 5.7점을 받았다.

점수 공개로 탈락 이유는 이전보다 분명해졌다. 그러나 논란의 핵심은 독파모가 어떤 모델을 뽑기 위한 평가였느냐는 질문에 남아 있다.

파운데이션 모델은 여러 서비스와 산업에 적용될 수 있는 기반 모델이다. 벤치마크 점수는 모델의 기초 성능을 보여주는 지표로 쓰인다. 반면 사용자 평가는 실제 이용 환경에서의 편의성과 완성도를 반영한다.

과기정통부는 평가 기준과 방식을 정예팀들과 사전에 협의했고 당시 이견이 없었다는 입장을 밝혔다. 또 단계평가 기준은 AI 기술의 빠른 변화를 반영해 6개월마다 개발 목표를 조정하는 ‘무빙 타깃’ 방식으로 마련한다고 설명했다.

독파모 평가 논란은 이번이 처음이 아니다. 1차 평가에서는 네이버클라우드가 모델의 독자성을 충족하지 못했다는 이유로 탈락했고, 이후 추가 선발된 모티프테크놀로지스도 2차 평가 결과에 이의를 제기했다.

이번 논란을 두고 AI 평가에서 단일 점수만으로 모델 성능과 활용성을 설명하기 어렵다는 지적이 나온다. 벤치마크가 높아도 사용성이 낮으면 종합 평가에서 밀릴 수 있고, 사용성이 높아도 기반 성능 논란을 피하기 어렵다. 본지는 앞서 AI 벤치마크 평가에서도 채점 구조와 평가 하네스가 결과 해석에 직접 영향을 미친다고 보도했다.

과기정통부는 기존 방식을 뛰어넘는 새로운 지원체계를 관계부처와 논의 중이며, 구체적 내용을 준비해 발표할 계획이라고 밝혔다.