미스트랄 미니 2위 기록…스몰 모델은 화자 구분 평가 4위

미스트랄(Mistral AI)의 음성 전사 모델 ‘Voxtral Mini Transcribe 3’가 화자 구분 평가에서 9개 모델 중 2위를 기록했다. 같은 회사의 ‘Voxtral Small Transcribe 3’는 4위였다.

보이스 아레나(Voice Arena)는 22일 두 모델의 평가 결과를 공개했다. 사람이 확인한 영어 대화 139건을 대상으로 화자 분리 오류율(DER)을 측정했다.

평가 자료는 대면 대화 115건과 온라인 통화 24건으로 구성됐다. 대본을 읽는 방식이 아니라 실제 대화 녹음으로 모델의 화자 구분 성능을 비교했다.

평가 기관은 모델에 대화 참여자 수를 미리 알려주지 않았고, 녹음 파일도 별도로 정리하지 않았다. 발화 시작과 끝을 맞출 때 허용 오차 구간도 두지 않았다.

화자 분리는 음성을 글자로 옮기는 데 그치지 않고 ‘누가 언제 말했는지’를 구분하는 작업이다. DER은 발화를 놓친 시간, 발화가 아닌 구간을 말소리로 잡은 시간, 화자를 잘못 지정한 시간을 반영하며 낮을수록 오류가 적다.

녹음 환경에 따라 두 모델의 순서는 달랐다. 대면 대화에서는 미니 모델이 40.6%, 스몰 모델이 41.5%를 기록했고, 온라인 통화에서는 스몰 모델이 39.1%로 미니 모델의 39.5%보다 낮았다.

따라서 전체 순위만으로 모든 녹음 환경에서의 성능 차이를 설명할 수는 없다. 대면 대화에서는 미니 모델이 앞섰지만 온라인 통화에서는 스몰 모델이 근소하게 낮은 오류율을 보였다.

두 모델이 대화 참여자 수를 정확히 맞힌 비율은 각각 83.5%였다. 화자 수를 맞히는 결과와 발화 구간마다 화자를 올바르게 지정하는 DER은 서로 다른 측정값이다.

미니 모델의 전체 화자 분리 오류 가운데 82%는 발화 누락에서 발생했다. 두 사람이 동시에 말하는 구간도 두 모델이 어려움을 보인 대목으로 꼽혔다.

화자 구분 성능과 받아쓰기 성능은 별도로 봐야 한다. 단어 오류율(WER)은 인식한 단어가 정답과 얼마나 다른지를 측정하므로 DER과 직접 비교할 수 없다.

Artificial Analysis의 비실시간 음성 전사 평가는 AA-WER를 세 데이터셋의 가중 평균으로 계산한다. AA-AgentTalk가 50%, VoxPopuli-Cleaned-AA와 Earnings22-Cleaned-AA가 각각 25%를 차지하며, 평가 오디오는 약 8시간이다.

Artificial Analysis의 평가에서 미니 모델의 AA-WER는 2.2%로 5위, 스몰 모델은 2.1%로 3위였다. 이 별도 평가에서는 스몰 모델의 단어 인식 오류율이 더 낮았다.

미스트랄은 20일 Voxtral 3 제품군을 공개했으며, 미니 모델은 매개변수 40억개로 배치 전사를 지원한다. 본지는 앞서 미스트랄의 음성 모델 공개와 전사 요금을 보도했다.

미스트랄의 제품 발표에 제시된 배치 전사 API 요금은 미니 모델이 분당 0.0035달러(약 4.64원), 스몰 모델이 분당 0.004달러(약 5.31원)다. 두 모델은 화자 구분과 단어 인식 평가에서 서로 다른 결과를 냈다.

미스트랄은 전사 모델이 50개가 넘는 언어를 지원한다고 밝혔고, 자체 다국어 평가에는 한국어도 포함됐다. 다만 보이스 아레나의 이번 화자 구분 평가는 영어 대화만 대상으로 했으므로, 이 순위로 한국어 화자 구분 성능을 판단할 수는 없다.