엔비디아, 최대 8명 실시간 구분 음성 모델 공개

엔비디아($NVDA)가 최대 8명의 발화를 실시간으로 구분하는 1억 파라미터급 음성 화자분리 모델 네모트론 3 다이어리제이션(Nemotron 3 Diarization)을 공개했다. 모델은 회의록 작성, 콜센터 분석, 음성 기반 AI 에이전트 등에 활용할 수 있는 공개 가중치 모델이다.

엔비디아는 23일 Hugging Face 게시물을 통해 모델을 공개했다. 네모트론 3 다이어리제이션은 Hugging Face와 NeMo에서 사용할 수 있으며, 녹음 파일 처리와 실시간 스트리밍을 하나의 모델로 지원한다.

화자분리는 음성을 문자로 바꾸는 음성인식과 달리 '누가 언제 말했는지'를 구분하는 기술이다. 모델은 화자의 실명을 확인하지 않고 발화 순서에 따라 speaker_1, speaker_2 같은 익명 라벨을 부여한다.

따라서 회의 참가자 정보나 별도의 화자 인증 모델이 없으면 라벨과 실제 인물을 연결할 수 없다. 음성의 내용과 발화자를 함께 관리해야 하는 회의록, 상담 기록, 인터뷰 편집 등에 활용하려면 별도 식별 체계가 필요하다.

모델은 10밀리초 단위로 화자 활동 확률을 출력한다. 여러 사람이 동시에 말하는 겹침 발화도 처리하며, 입력 버퍼 지연시간은 0.32초, 0.64초, 1.04초, 30.4초 등으로 조정할 수 있다.

0.32초는 엔비디아가 권장하는 설정 가운데 가장 짧은 지연시간이다. 기술적으로는 80밀리초 입력 버퍼도 사용할 수 있지만 정확도와 처리량이 낮아질 수 있다.

스트리밍 과정에서는 'Arrival-Order Speaker Cache'가 사용된다. 이 기능은 화자가 처음 등장한 순서에 따라 라벨을 부여하고 다음 음성 구간에서도 같은 라벨을 유지해, 구간이 바뀔 때 화자 번호가 뒤바뀌는 문제를 줄인다.

엔비디아는 VoiceArena의 초기 Diarization-Bench에서 네모트론 3 다이어리제이션이 12개 시스템 가운데 1위를 기록했다고 밝혔다. 영어 대화 139건, 약 22시간의 음성을 대상으로 겹침 발화를 포함해 평가했으며 모델의 화자분리 오류율(DER)은 14.72%였다.

2위 시스템의 DER은 19.3%였다. 다만 엔비디아는 해당 결과가 초기 평가이며, 정식 평가와 통계 분석이 끝나면 결과가 달라질 수 있다고 설명했다.

네모트론 3 다이어리제이션은 기존 4인용 스트리밍 소트포머 v2.1보다 지원 화자 수를 8명으로 늘렸다. 엔비디아는 공개·라이선스 음성 데이터를 활용해 모델을 학습했으며 David AI의 다화자 음성 데이터도 포함했다고 밝혔다.

엔비디아는 특정 평가 조건에서 해당 데이터를 추가한 뒤 DER이 11.19%에서 10.42%로 0.77%포인트 개선됐다고 설명했다. 이 수치는 별도의 평가 조건에서 나온 결과로, VoiceArena의 14.72%와 직접 비교할 수는 없다.

공개 가중치 모델이라는 점도 특징이다. Hugging Face 모델 페이지와 Baseten은 라이선스를 OpenMDW-1.1로 표시하고 있으며, Baseten은 스트리밍과 배치 추론을 위한 배포 환경을 제공한다.

다만 배포업체의 처리량과 모델 자체 성능은 구분해 평가해야 한다. 화자분리 오류율은 데이터셋, 지연시간, 겹침 발화 포함 여부, 경계 허용시간에 따라 달라지므로 AISHELL-4 등 다른 평가 결과와 단순 비교하기 어렵다.

국내 음성 데이터와 한국어 환경에서의 성능도 별도 검증이 필요하다. 음성 모델을 국내 회의록이나 콜센터에 적용하려면 지원 언어뿐 아니라 처리 지연시간, 비용, 화자 라벨의 안정성을 함께 확인해야 한다.

이번 공개는 가상자산이나 블록체인 기술과 직접 연결된 발표는 아니다. 다만 엔비디아가 공개 모델 생태계 확대를 이어가는 흐름에서 음성 처리 모델까지 공개 범위를 넓혔다는 점은 확인됐다.

엔비디아는 기존 대형언어모델 중심의 공개 모델 전략을 음성 처리 영역으로 확장했다. 향후 실제 서비스에서 한국어·다화자 환경의 성능과 라이선스 적용 범위가 어떻게 확인될지 주목된다.