구글에서 선호하는 출처로 추가
받아쓰기 정리 99.5점 받은 제미나이 4 아르곤
이준한 기자
AssemblyAI의 50개 이상 모델 평가에서 제미나이 4 아르곤이 가장 높은 점수를 기록했다. 처리 속도와 비용에서는 다른 모델이 앞섰다.
토포AI로 이 기사 더 깊이 읽기
구글(Google)의 제미나이 4 아르곤(Gemini 4 Argon)이 받아쓰기 정리 평가에서 99.5점을 기록했다. AssemblyAI가 비교한 50개 이상 모델 가운데 가장 높은 점수다.
AssemblyAI는 10월 15일 Voice Standard Bench 평가 결과를 공개했다. 제미나이 4 아르곤은 10월 13일부터 AssemblyAI의 LLM Gateway에서 제공됐다.
점수는 30초 구간 100점과 2분 구간 99점의 평균이다. 측정 자료는 10월 14일 LLM Gateway Models 엔드포인트에서 확인한 값이다.
이 평가는 음성을 글자로 옮기는 음성인식 시험이 아니다. 음성인식 뒤 만들어진 텍스트에 담긴 구두 지시를 모델이 반영해 정리하는 능력을 측정한다.
평가에는 30초와 2분 구간마다 합성 자료 20개씩을 사용했다. 모델이 만든 결과를 미리 정한 정답과 기계적으로 대조했다.
평가 방법론에 제시된 채점 항목은 완전 일치 여부, 단어 오류율, 문장부호·대문자 처리, 서식 명령 수행 정확도다. ‘쉼표’, ‘새 문단’, ‘모두 대문자’ 같은 구두 지시를 텍스트에 반영하는지가 평가 대상이다.
받아쓰기 정리는 Voice Standard Bench의 네 가지 과제 가운데 하나다. 나머지는 정보 추출, 요약, 텍스트 교정이며, 받아쓰기 정리에는 정답이 정해진 합성 문장을, 다른 과제에는 실제 통화 녹취를 사용한다.
따라서 99.5점은 네 과제를 합산한 점수도, 음성인식 정확도도 아니다. 한국어 음성인식 성능을 나타내는 수치로 해석할 수도 없다.
점수와 처리 속도 순위는 달랐다. 제미나이 4 아르곤의 중앙 응답 시간은 30초 입력에서 2.0초, 2분 입력에서 2.6초였다.
Qwen3.5 4B Fast는 같은 구간에서 각각 0.3초와 0.6초가 걸렸다. 응답은 빨랐지만 받아쓰기 정리 점수는 78.0점으로 제미나이 4 아르곤보다 낮았다.
AssemblyAI가 제시한 오디오 1시간당 비용은 제미나이 4 아르곤 0.0576달러(약 77원), GPT-6 Luna 0.0035달러(약 5원), Qwen3.5 4B Fast 0.0026달러(약 3원)였다. 원화 환산에는 10월 28일 기준 1달러당 1342.26원을 적용했다.
GPT-6 Luna의 받아쓰기 정리 점수는 96.0점이다. 제시된 비용은 음성인식 요금이 아니라 텍스트 정리 모델의 이용 비용을 오디오 길이로 환산한 값이다.
본지는 앞서 제미나이 4 아르곤의 코딩 등 실무 성능 평가가 엇갈렸다고 보도했다. 이번 평가는 그 보도에서 다룬 업무와 달리 받아쓰기 정리에 한정된다.
평가가 두 가지 입력 길이와 합성 문장에 한정된 만큼, 점수가 실제 녹취나 서비스별 지시문에서도 그대로 나온다고 볼 수는 없다. 특히 이 결과만으로 실제 사용 환경의 성능을 단정하기 어렵다.
AssemblyAI는 공개 결과를 후보 모델을 고르는 출발점으로 보고, 실제 사용 환경의 녹취와 지시문으로 다시 시험하라고 안내했다. 결과 페이지는 LLM Gateway에 새 모델이 추가될 때 갱신된다.
Comment 0
불러오는 중…