160ms·U=1 평균 오류율 5.76%…한국어 FLEURS 7.52%

넷이즈 유다오(NetEase Youdao) 연구진이 스트리밍 음성인식 모델 ‘Confucius4-R2T2’를 공개했다. 160ms 청크·U=1 설정에서 영어·중국어 평가셋 13개의 평균 오류율은 5.76%였다. U는 출력 전 보류하는 임시 토큰 수로, U=1은 한 개를 보류하는 설정이다.

연구진은 4일 공개한 논문에서 음성이 들어오는 동안 이후에도 바뀌지 않을 문장 앞부분만 내보내도록 모델을 설계했다고 밝혔다. 한 번 확정해 출력한 문장은 뒤에 들어오는 음성에 맞춰 수정하지 않는다.

5.76%는 13개 평가셋에 같은 가중치를 적용한 평균이다. 영어에는 단어 오류율(WER), 중국어에는 문자 오류율(CER)을 적용했으며, 두 언어의 단어와 글자 오류를 한데 합산한 비율은 아니다.

한국어 FLEURS 한 평가셋의 문자 오류율은 같은 160ms·U=1 조건에서 7.52%였다. 기반 모델은 같은 조건에서 40.66%를 기록했다. 한국어는 추가 학습 언어가 아니며, 이 결과를 국내 음성 전반의 성능으로 일반화할 수는 없다.

평가 조건도 구분해야 한다. 본지가 앞서 다룬 엔비디아의 한국어 음성 전사 모델은 녹음 파일을 입력받는 방식이어서 실시간 스트리밍 모델인 R2T2와 직접 비교하기 어렵다.

R2T2의 기반 모델은 Qwen3-ASR-1.7B다. 연구진은 중국어·영어 음성 약 1500시간을 추가 학습에 사용했다.

모델은 기존 오디오 인코더와 프로젝터를 고정하고 ‘최장 안정 접두부’(LSP) 학습을 적용했다. LSP는 이후 입력이 들어와도 유지될 수 있는 문장 앞부분을 학습해 안정된 내용부터 내보내는 방식이다.

일반적인 스트리밍 음성인식은 음성이 이어지는 동안 임시 문장을 보여주고, 뒤에 들어온 문맥에 따라 앞선 내용을 고칠 수 있다. 중간 결과를 이미 처리하는 시스템에서는 수정된 문장을 다시 반영해야 할 수 있다.

개발진은 자막·동시통역·음성 에이전트처럼 중간 결과를 바로 쓰는 시스템에서 이런 재처리를 줄이려는 설계라고 설명했다. 다만 문장을 고치지 않는 성질과 인식 정확도·출력 속도는 서로 다른 지표다.

같은 160ms 간격에서 기반 모델의 평균 오류율은 21.01%였다. R2T2는 인식 품질을 우선하는 U=1 설정에서 5.76%, 지연을 우선하는 U=0 설정에서 6.40%를 기록했다.

기반 모델은 2초·U=5 설정에서 5.25%, 음성을 모두 받은 뒤 처리하는 오프라인 설정에서 5.15%를 기록했다. 논문은 이 두 결과를 안정 출력 순위 비교에서 제외했다. 2초 설정에는 중간 출력이 수정될 수 있다는 점도 표시했다.

논문 비교표의 전체 평균에서 R2T2의 오류율은 비교 대상 상용 API 3종보다 낮았다. 그러나 중국어 일부 평가셋에서는 업체명이 공개되지 않은 상용 A·B의 오류율이 R2T2보다 낮았다. 논문은 이들 시스템이 문장을 더 늦게 안정화한다고 설명했다.

160ms는 평가에서 음성을 나눠 넣은 청크 간격이다. 논문이 계산한 지연은 오디오상에서 문장이 확정되는 시점을 기준으로 하며, 실제 실행·대기·전송·화면 표시 시간은 제외한다. 모델이 실제 실행 환경에서 입력 속도를 따라 처리할 수 있는지도 검증하지 않았다.

코드와 모델 가중치는 공개됐다. 코드에는 Apache License 2.0, 가중치에는 별도의 NetEase Model Use License가 적용된다.

논문은 추가 학습에 사용한 약 1500시간의 음성을 비공개 독점 데이터(proprietary)로 설명했다. 따라서 공개된 코드·가중치와 학습 음성의 공개 범위는 구분된다.