과학 이미지 AI 평가…최고 64%·비용 격차 99배

생명과학 실험 이미지 해석 AI 평가에서 제미나이 4 카본이 최고 64%를 기록했고, 평가기관이 제시한 모델별 문항당 비용 격차는 99배였다.

아티피셜 애널리시스(Artificial Analysis)는 6일 19개 모델을 평가한 VIALS-AA 결과를 공개했다. VIALS-AA는 핸드셰이크 AI(Handshake AI)의 생명과학 이미지 평가 기준 VIALS를 독립적으로 구현한 시험이다.

핸드셰이크 AI의 VIALS 설명에 따르면 원본 평가는 161개 시각 질의응답 과제로 구성됐다. 각 과제는 연구 이미지와 질문, 짧은 정답으로 이뤄진다.

시험 대상에는 젤 블롯, 플라스미드 지도, 현미경 이미지, 유세포 분석 그래프, 계통수와 분자 구조 등이 포함됐다. 생명과학 연구 과정에서 접하는 시각 자료를 읽고, 이미지 안의 근거를 찾아 답하는 능력을 평가한다.

VIALS는 논문이나 교재에 실린 정돈된 도표보다 실제 연구 업무에서 쓰이는 이미지와 자료에 초점을 맞췄다. 과제는 시각 정보를 찾아내는 데 그치지 않고, 연구 분야의 지식을 적용해 해석하도록 설계됐다.

원본 VIALS는 이미지와 질문을 제시해 모델이 한 차례 답하는 방식으로 평가한다. VIALS-AA는 코드 실행과 이미지 확인을 지원하는 Stirrup 도구를 허용해 모델이 이미지를 확대하거나 살펴보며 답을 찾을 수 있게 했다.

두 평가의 도구 조건과 점수 산식이 달라 결과를 그대로 비교할 수는 없다. VIALS-AA의 평가 방식은 각 과제를 세 차례 반복하고, 세 번 모두 맞힌 과제의 비율을 대표 점수로 삼는다.

제미나이 4 카본(Gemini 4 Carbon)은 161개 과제 중 103개를 세 번 모두 맞혀 64%를 기록했다. GPT-6 아스트라(GPT-6 Astra)는 63%, 클로드 오푸스 5.5(Claude Opus 5.5)는 61%였다.

이 점수는 해당 과제와 도구 환경에서 답을 반복해 맞힌 비율이다. 생명과학 연구 전반의 성공률이나 실제 연구 업무의 성과를 뜻하지는 않는다.

GPT-6 루나(GPT-6 Luna)의 문항당 비용은 0.02달러(약 27원), 그록 4.7(Grok 4.7)은 1.77달러(약 2386원)로 표시됐다. 아티피셜 애널리시스는 비용 격차를 99배로 제시했지만, 공개 페이지가 비용을 센트 단위로 표시해 두 숫자를 단순히 나눈 값과는 차이가 난다.

비용은 입력·캐시 읽기·캐시 쓰기·추론·답변 토큰 가격을 반영해 계산했다. 세 차례 반복에서 나온 토큰 사용량을 평균 내고 모델별 대표 캐시 적중률을 적용했으며, 채점용 모델 호출 비용은 포함하지 않았다.

GPT-6.1 솔(GPT-6.1 Sol)은 59%를 기록했고, 클로드 오푸스 5.5는 61%였다. 점수 차이는 2%포인트였지만, 솔의 문항당 비용은 오푸스의 약 30분의 1이었다.

아티피셜 애널리시스는 키미 K3.1 프로(Kimi K3.1 Pro)와 GPT-6 아스트라가 각각 과제의 약 4분의 3을 한 번 이상 맞혔다고 집계했다. 세 차례 모두 맞힌 비율은 키미가 45%, GPT-6 아스트라가 63%로 달랐다.

분야별로는 제미나이 4 카본이 플라스미드 지도와 계통수 분석에서 앞섰고, 유세포 분석에서는 제미나이 4 아르곤(Gemini 4 Argon)과 공동 선두였다. 클로드 오푸스 5.5는 블롯 이미지, 클로드 소넷 5.5(Claude Sonnet 5.5)는 세포 수 세기에서 가장 높은 점수를 냈으며, 단백질 구조·결합에서는 GPT-6.1 테라(GPT-6.1 Terra), 분자 구조에서는 GPT-6 아스트라와 GPT-6.1 솔이 공동 선두였다.

도구 사용량도 모델별로 달랐다. 클로드 소넷 5.5는 60%, GPT-6.1 솔은 59%를 기록했지만 소넷의 과제당 도구 호출 횟수는 3.6배였고, 비용은 솔의 약 18배였다.