2.3% 오류율 기록한 세일즈포스 음성 모델, 오픈웨이트 1위

세일즈포스(Salesforce·$CRM)가 12일(현지시간) 음성 전사 모델 SOV-Transcribe-1을 공개했다. 모델은 영어 단어 오류율 2.3%를 기록해 당시 평가 대상 44개 모델 중 7위, 오픈웨이트 모델 중 1위에 올랐다.

세일즈포스는 공식 기술 소개문에서 이 모델을 비실시간 음성 인식용으로 소개했다. 모델 가중치는 허깅페이스(Hugging Face)에 공개돼 이용자가 내려받아 자체 인프라에서 실행할 수 있다.

Artificial Analysis의 AA-WER 평가는 음성 에이전트 대화인 AA-AgentTalk, 유럽의회 발언을 담은 VoxPopuli, 기업 실적발표 통화인 Earnings22 등 약 8시간의 영어 음성으로 이뤄졌다. 세 자료의 반영 비중은 각각 50%, 25%, 25%다.

단어 오류율은 AI가 받아 적은 결과를 사람이 확인한 원문과 대조해 빠뜨리거나 바꾸거나 더한 단어의 비율을 나타낸다. 따라서 2.3%는 모든 언어와 녹음 조건에서 단어 100개 중 2.3개를 틀린다는 뜻이 아니다.

SOV-Transcribe-1의 오류율은 Earnings22에서 4.1%, VoxPopuli에서 1.5%, AA-AgentTalk에서 1.8%였다. 세 자료의 결과가 서로 달라 종합 수치만으로 특정 업무나 녹음 환경에서의 정확도를 판단하기는 어렵다. 이번 평가는 영어 음성을 대상으로 해 한국어 성능을 보여주지 않는다.

모델의 전체 매개변수는 266억개이며, 작동 중 활성화되는 매개변수는 46억개다. 비교 대상으로 제시된 미스트랄 AI(Mistral AI)의 Voxtral Small과 엔비디아($NVDA)의 Nemotron 3.5 Transcribe는 같은 지표에서 각각 약 2.8%를 기록했다.

평가에서 제시된 처리속도 지수는 약 60이다. 이 수치는 음성 길이를 처리 시간으로 나눈 값으로, 다른 모델보다 60배 빠르다는 뜻은 아니다. 실제 설치 환경에서의 성능을 보장하는 수치도 아니다.

세일즈포스는 이 모델을 소버린 AI 구상에 포함했다. 조직이 데이터와 AI 운용을 통제하는 방향을 내세우며, 자체 인프라에서 모델을 실행할 수 있다는 점을 강조했다.

세일즈포스가 2025년 9월 출범시킨 미션포스는 정부와 국가안보 업무에서 데이터 통제와 보안을 강조하는 사업이다. 공개 가중치는 민감한 음성을 내부 시스템에서 처리할 선택지를 제공하지만, 가중치 공개만으로 개별 기관의 보안 요건이 충족되는 것은 아니다.

세일즈포스는 고객 상담, 받아쓰기, 통화 기록 처리를 활용 사례로 제시했다. 이번 점수는 녹음된 영어 음성에 대한 비실시간 평가 결과로, 실시간 음성 서비스의 성능을 뜻하지 않는다.