엔비디아, 한국어 포함 40개 언어 음성 전사 모델 공개

엔비디아(NVIDIA·$NVDA)가 한국어를 포함한 40개 언어의 녹음 음성을 전사하는 공개 가중치 모델 네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)를 공개했다. 전사와 번역, 화자 구분, 녹음 내용에 대한 질의응답을 한 모델에서 처리한다.

엔비디아는 28일 공식 발표에서 녹음 음성과 텍스트 지시를 함께 입력하는 방식이라고 밝혔다. 개발자는 전사 형식이나 제품명·전문 용어를 지시에 담아 결과에 반영할 수 있다.

모델은 받아쓰기와 번역 외에도 회의에서 내린 결정을 추려 달라는 요청을 처리한다. 다만 음성 질의응답과 음성 지시 이해는 영어로만 평가됐다.

기능별 지원 언어 수는 다르다. 전사는 40개 언어, 영어와 다른 언어 사이의 번역은 31개 언어, 화자별 발언 표시는 13개 언어를 지원한다.

최대 1시간 분량의 녹음을 처리하고 최대 8명의 발화자를 구분한다. 화자 표시는 녹음 속 발화를 나누는 기능으로, 실제 인물의 신원을 확인하지는 않는다.

한국어는 전사·번역·화자 귀속 지원 목록에 올라 있다. 모델 카드에 기재된 공개 평가셋 FLEURS의 한국어 문자 오류율(CER)은 2.78%다.

이 수치는 FLEURS 평가 결과를 글자 단위로 측정한 값이다. 회의나 인터뷰 등 모든 한국어 녹음에서 같은 정확도가 나온다는 뜻은 아니다.

이번 모델은 실시간 스트리밍용 네모트론 3.5 ASR(Nemotron 3.5 ASR)과 구분된다. 6월 공개된 ASR 모델은 매개변수 6억 개 규모로 실시간 음성을 처리하며, 트랜스크라이브는 녹음 파일을 입력받는다.

트랜스크라이브의 전체 매개변수는 340억 개이며 입력 처리 때 활성화되는 매개변수는 약 43억 개다. 두 수치는 모델 전체 규모와 실제 입력 처리 과정에서 활성화되는 규모를 각각 나타낸다.

언어 모델 기반에는 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)이 쓰였고, 음성 인식과 화자 구분용 구성 요소가 결합됐다. 엔비디아는 앞서 기업용 에이전트 작업을 겨냥한 네모트론 3.5 라이트닝을 공개했다.

가중치는 허깅페이스에 BF16·FP8·NVFP4 형식으로 공개됐다. 가중치를 내려받을 수 있다는 사실만으로 배포와 운영 비용까지 없어지는 것은 아니다.

모델 자료에는 OpenMDW-1.1 라이선스가 적용된다. 재배포할 때는 라이선스와 출처를 고지하는 등 조건을 따라야 한다.

함께 공개된 다국어 음성 데이터셋 그래너리 v2(Granary v2)의 공개 목록에는 48개 언어, 16개 원천 코퍼스, 46만3062시간 분량이 기재됐다. 관련 내용은 엔비디아 기술 블로그에 소개됐다.

이 시간 규모는 그래너리 v2의 공개 목록에 적힌 수치로, 새 모델이 학습에 사용한 전체 음성 시간과 같은 지표는 아니다. 원본 음성은 각 원천 자료의 라이선스에 따라 별도로 확보해야 한다.

모델 카드에는 긴 녹음, 겹쳐 말하기, 잡음, 고유명사와 언어 혼용 환경에서 별도 점검이 필요하다고 적혀 있다. 실제 활용 성능은 녹음 환경과 언어별 조건을 고려해 평가해야 한다.