구글에서 선호하는 출처로 추가
리퀴드 AI, 7360만 매개변수 음성 코덱 공개
서지우 기자
회사는 M4 Max 단일 CPU 스레드 시험에서 인코딩이 실시간의 약 361배, 디코딩이 약 87배였다고 밝혔다. 품질 평가에서는 지표별로 우위를 보인 시험 자료 수가 달랐다.
토포AI로 이 기사 더 깊이 읽기
리퀴드 AI(Liquid AI)가 11월 12일 매개변수 7360만 개의 스트리밍 음성 코덱 LiquidCodec을 공개했다. 코덱은 LFM3-Audio-2B와 LFM3-Omni-2B의 오디오 토크나이저로 쓰인다.
리퀴드 AI는 기술 블로그에서 코덱 규모를 약 7400만 개 매개변수로 소개했다. 허깅페이스(Hugging Face) 모델 카드에는 7360만 개로 표기됐으며, 라이선스는 'lfm1.0'이다. 상업적 이용 범위는 라이선스 조건을 별도로 확인해야 한다.
LiquidCodec은 음성을 AI 모델이 처리할 수 있는 이산 토큰으로 바꾸고, 토큰에서 다시 오디오를 복원한다. 입력 음성을 나누는 인코더와 토큰을 소리로 되살리는 디코더로 구성된다.
입력 기준은 24kHz 음성이고 프레임률은 초당 12.5회다. 모델 카드의 사용 예시는 프레임마다 12개 코드북을 제시한다.
프레임 하나는 80밀리초 간격이다. 이 수치만으로 전체 서비스의 응답시간을 알 수는 없다.
리퀴드 AI는 이전 음성 모델에서 외부 코덱 Mimi를 사용했다. 이번에는 음성 토큰의 품질과 생성 속도를 직접 조정하기 위해 자체 코덱을 만들었다고 설명했다.
핵심 설계에는 그룹형 유한 스칼라 양자화(GFSQ)가 쓰였다. 회사는 이 방식이 코드북 사이의 순차적 의존도를 낮춰 같은 프레임의 토큰을 병렬로 예측할 수 있도록 설계됐다고 밝혔다.
코덱은 107개 언어에서 모은 음성 26만4000시간으로 사전학습됐다. 학습에 사용한 음성의 언어 수와 전체 시간이 회사 발표에 공개됐다.
리퀴드 AI는 이어 고품질 음성 5만5000시간으로 모델을 미세조정했다고 밝혔다. 회사는 이를 음성 복원 품질을 높이기 위한 과정으로 설명했다.
속도 시험은 애플 M4 Max 탑재 MacBook Pro에서 CPU 스레드 하나를 사용해 FP32 정밀도로 진행됐다. 이 조건에서 인코딩은 실시간의 약 361배, 디코딩은 약 87배 속도를 기록했다.
이 수치는 코덱 처리 속도에 관한 회사 시험 결과다. 다른 기기나 실제 서비스 전체에서도 같은 속도가 나온다는 뜻은 아니다.
품질 비교 역시 회사가 실시했다. 리퀴드 AI는 8개 시험 자료에서 음성 복원 품질 지표인 ViSQOL과 멜 거리 결과가 비교 대상 가운데 가장 좋았다고 밝혔다.
음성 합성의 자연스러움을 평가하는 UTMOSv2는 8개 시험 자료 모두에서 가장 높았다. 발화 명료도를 재는 WER·CER는 8개 중 4개에서 비교 우위를 보였다.
따라서 회사 발표는 모든 평가 항목에서 우위를 보였다는 의미는 아니다. 속도와 품질 모두 회사가 공개한 자체 시험 결과로, 다른 기기와 조건의 성능을 나타내지는 않는다.
본지는 앞서 리퀴드 AI의 온디바이스 AI 모델 성능을 다룬 바 있다. 이번 발표는 해당 모델군에 쓰이는 음성 토크나이저의 구조와 회사 자체 시험 결과를 공개한 내용이다.
Comment 0
불러오는 중…