전사 길이 따라 LLM 선두 달라…2분 구간 100점

50개 넘는 대규모언어모델(LLM)을 비교한 AssemblyAI의 음성 전사 후처리 벤치마크에서 전사 길이별 정보 추출 최고 점수가 달랐다. 2분 구간에서는 Nemotron Lightning 3.5 30B A3B가 100점으로 표시됐다.

AssemblyAI는 2026년 10월 13일 ‘Voice Standard Bench’를 공개했다. LLM Gateway 모델을 정보 추출, 요약, 텍스트 교정, 받아쓰기 정리 등 네 과제로 평가하는 벤치마크다.

모든 모델에 같은 전사본과 지시문을 주고 품질, 응답 시간, 오디오 1시간당 비용을 비교한다. 모델이 실제 서비스에서 전사 후처리 작업을 얼마나 잘 수행하는지 여러 기준으로 살펴보는 방식이다.

이 벤치마크는 음성을 글자로 옮기는 음성인식 정확도를 평가하지 않는다. 전사된 텍스트를 모델이 요약하거나 정리하고, 필요한 정보를 추출하는 능력을 다룬다.

10월 29일 확인 당시 발표 페이지의 정보 추출 표에는 30초 구간 GPT-5.6 솔 94점, 2분 구간 Nemotron Lightning 3.5 30B A3B 100점, 15분 구간 GPT-6 Luna 85점, 60분 구간 GPT-6.1 Sol 85점이 표시됐다. 점수는 100점 만점이다.

이 수치는 10월 29일 확인 당시 페이지에 표시된 값으로, 이날 실행한 벤치마크 결과를 뜻하지 않는다. AssemblyAI는 새 모델이 추가되면 결과 페이지의 표시 내용이 바뀔 수 있다고 안내한다.

정보 추출 과제는 통화 참가자, 실행 항목, 결정 사항, 사람·기관·제품·날짜 같은 개체를 JSON 형식으로 반환하도록 설계됐다. 공개 검증 코드에는 participants, action_items, decisions, entities가 필수 최상위 항목으로 지정돼 있다.

전사본에 특정 항목이 없어 결과 배열이 비더라도 해당 항목 자체를 생략할 수는 없다. 네 항목을 모두 포함해야 형식 검사를 통과한다.

품질 평가는 추출 결과가 전사 원문에 근거하는지, 실제로 언급된 실행 항목·결정·개체를 빠뜨리지 않았는지를 본다. 정보 추출에는 미리 정해 둔 정답 개체 목록이 없다.

AssemblyAI의 방법론은 정보 추출 평가에 30초, 2분, 15분, 60분 구간별로 전사본 10개를 사용했다고 설명한다. 모델의 답을 사전에 정한 개체 정답과 기계적으로 대조하는 받아쓰기 정리 과제와는 평가 방식이 다르다.

품질 점수와 속도 순위도 같지 않았다. Qwen3.5 4B Fast는 30초 구간에서 중앙 응답 시간 0.28초로 가장 빨랐지만 품질 점수는 80점이었다.

같은 모델은 2분 구간에서 0.60초와 51점, 15분 구간에서 1.49초와 33점으로 표시됐다. 결과표는 형식 오류, 응답 거부, 시간 초과와 오류율도 별도로 제시한다.

본지는 앞서 같은 벤치마크의 받아쓰기 정리 과제에서 제미나이 4 아르곤이 99.5점을 받은 결과를 전했다. 이번 정보 추출 결과와는 과제와 평가 방식이 다르다.

받아쓰기 정리는 정답이 있는 합성 자료를 기계적으로 채점하지만, 정보 추출은 실제 통화 전사본과 대조해 근거성과 완전성을 평가한다. 두 과제의 점수를 직접 비교해 모델의 전반적인 성능 순위로 해석할 수는 없다.

AssemblyAI는 고객의 통화 내용과 어휘, 지시문이 벤치마크 자료와 다를 수 있으므로 자체 전사본으로 후보 모델을 다시 평가하라고 권한다. 회사는 점수 차이가 2~3점 이내면 차이가 작다고 설명했다.