MKA 200개 비공개…채점 비중은 사실 정확도 75%·디자인 25%

시각 자료를 읽어 실무 문서를 만드는 AI 에이전트를 평가하는 벤치마크 MKA가 공개됐다. 과제 200개를 10개 분야에서 운영하며, 채점의 75%는 사실 정확도, 25%는 시각 디자인에 반영한다.

구글 딥마인드(Google DeepMind)는 10일 공식 발표에서 아티피셜 애널리시스(Artificial Analysis)와 함께 멀티모달 지식 에이전트(Multimodal Knowledge Agent·MKA)를 개발했다고 밝혔다. 두 기관은 도면과 영상 등 여러 시각 자료를 해석해 전문 업무 결과물을 만드는 능력을 평가한다(구글 딥마인드 공식 발표).

평가 과제는 10개 산업 분야의 83개 직업군을 반영한다. 각 과제는 숙련된 실무자가 3~8시간 동안 수행할 법한 여러 단계의 작업을 본떴다.

에이전트는 건축 도면과 단면도를 대조해 불일치를 찾고 발표 자료로 정리하는 과제 등을 수행한다. 공학 회로도와 임상 영상처럼 시각 정보가 많은 파일을 입력받고, 보고서·스프레드시트·발표 자료를 결과물로 제출한다.

MKA는 질문에 답하거나 텍스트를 요약하는 데 그치지 않고, 여러 파일을 읽어 완성된 결과물을 만드는 과정까지 평가한다. 과제별 채점표에는 약 70개의 확인 항목이 담겼고, 전체 평가 기준은 1만4284개다.

채점은 사실 정확도와 시각 디자인을 함께 본다. 자동 채점기는 제출 파일을 열어 페이지 구성과 스프레드시트 계산식 등을 검사한다.

자동 채점기와 전문가 판단의 96.2% 일치율은 모델의 정답률이 아니다. 기술 보고서가 제시한 이 수치는 50개 과제에서 높은 배점의 기준을 중심으로 자동 채점 결과와 전문가 평가를 비교한 결과다(기술 보고서).

평가는 아티피셜 애널리시스가 오픈소스 실행 환경 Stirrup에서 진행한다. 모델은 과제당 최대 250턴과 8시간을 사용할 수 있으며, 실행은 과제별로 한 차례씩 이뤄졌다(평가 방법론).

과제당 실행이 한 번뿐인 만큼 반복했을 때 결과가 얼마나 달라지는지는 이번 평가에 반영되지 않았다. 비공개 과제와 제한된 반복 실행은 외부에서 전체 순위를 그대로 재현하기 어렵게 하는 요소다.

구글 딥마인드 기술 보고서의 Climb-WSR 기준으로 클로드 페이블 5.2(Claude Fable 5.2)는 56.56%, 제미나이 4 카본(Gemini 4 Carbon)은 54.34%를 기록했다. 제미나이 4 카본은 2위였지만, 보고서는 상위 세 모델의 점수 차이가 통계적으로 유의하지 않다고 밝혔다.

Climb-WSR는 모델이 비교적 쉽게 통과하지 못한 채점 기준에서 과제별 가중 만족도를 계산한 지표다. 따라서 점수는 과제를 전부 끝낸 비율이나 모든 업무에서의 성공률을 뜻하지 않는다(MKA 평가 페이지).

제미나이 4 카본의 과제당 API 비용 추정치는 클로드 페이블 5.2보다 6.26배 낮았다. 이 비교는 보고서 작성 당시 공급사 표준 가격을 적용했으며, 평가 대상 모델의 호출 비용만 포함하고 채점 비용은 제외했다.

구글 딥마인드는 벤치마크 공동 개발자이면서 자체 모델인 제미나이 4 카본도 평가 대상에 올렸다. 아티피셜 애널리시스는 평가를 독립적으로 수행했다고 밝혔다.

제미나이 4 카본이 별도 인공지능 성능 지표에서 59점으로 1위를 기록한 사실은 MKA와 다른 평가 결과다. 두 지표는 평가 방식과 기준이 달라 점수를 같은 척도로 비교할 수 없다.

학습 데이터에 평가 답안이 노출되는 일을 줄이기 위해 과제 200개는 비공개로 운영된다. 과제 형식을 보여 주는 예시 10개는 공개됐다.