일레븐랩스(ElevenLabs)가 28일 기존 대본과 녹음을 문자 단위로 맞추는 음성 정렬 모델 큐(Cue)를 소개했다.
일레븐랩스는 공식 발표에서 큐가 90개 넘는 언어를 지원한다고 밝혔다. 이 모델은 음성인식 모델 스크라이브(Scribe)의 전사 요청에 적용되며, 별도 강제 정렬 API로도 제공된다.
강제 정렬은 이미 작성된 대본을 녹음과 대조해 각 부분의 발화 시점을 찾는 작업이다. 음성을 듣고 새 대본을 만드는 전사와는 역할이 다르다.
스크라이브가 음성을 문자로 옮기면 큐가 문자·단어별 시작과 종료 시각을 붙인다. 회사는 자막·더빙·가사의 타이밍 조정 등을 활용 사례로 제시했다.
별도 API를 이용할 때는 오디오 파일과 기존 대본을 함께 입력해야 한다. API는 문자별·단어별 시작·종료 시각과 정렬 손실값을 반환한다.
API 문서는 ‘loss’를 대본 전체의 평균 정렬 손실·신뢰도 점수로 설명한다. 대본 내용의 사실 여부를 검증하는 지표라고는 명시하지 않았다.
90개 넘는 언어는 회사가 밝힌 지원 범위다. 별도로 공개된 비교 평가는 실사용 요청을 바탕으로 만든 녹음 자료 가운데 29개 언어를 대상으로 했다.
일레븐랩스 자체 평가에서 전체 녹음의 평균 타이밍 오차는 큐가 179밀리초였다. 비교한 오픈소스 도구들의 오차는 283밀리초에서 6000밀리초를 넘는 범위였다.
배경 소음이 섞인 영어 녹음에서 큐의 평균 오차는 57밀리초였다고 회사는 밝혔다. 같은 조건에서 비교 도구들의 오차는 65~920밀리초였다.
회사는 문자 단위 모델인 큐를 단어 단위 기준으로 평가했고, 완전한 정답 기준을 만들기 어렵다고 설명했다. 발표에는 평가 표본 규모와 구성, 구체적인 GPU 사양, 처리 부하 조건이 제시되지 않았다.
회사는 운영용 GPU에서 1시간 분량의 오디오를 약 0.5초에 정렬한다고 밝혔다. 이 처리 시간도 회사 자체 환경에서 측정한 결과다.
회사가 설명한 ‘길이에 관계없이 한 번에 처리’ 방식에도 API 입력 조건이 있다. API 문서는 파일 크기를 1GB 미만으로 제한하고, 화자 분리 기능은 지원하지 않는다고 명시한다. 구체적인 최대 오디오 길이는 문서에 적혀 있지 않다.
음성 처리에서 전사·시간 정렬·화자 구분은 서로 다른 기능이다. 구글 전사 모델의 한국어 지원과 화자 구분 범위를 다룬 본지 보도에서는 제미나이 3.5 트랜스크라이브가 85개가 넘는 언어를 지원하고 최대 8명의 화자를 구분하지만, 3명 이상 식별은 실험 단계로 분류됐다고 전했다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular