일레븐랩스, AI 대화 엔진 미리보기…미세조정 수개월 내 지원 계획 밝혀

일레븐랩스(ElevenLabs)가 기업별 AI 모델 미세조정 계획과 대화형 AI 조율 시스템 Interaction Engine을 발표했다.

일레븐랩스는 11일 뉴욕 서밋에서 Interaction Engine을 미리보기로 공개했다. 기업별 미세조정 기능은 별도 지원 계획으로 소개했다.

◇ 기업 데이터로 모델 맞춤화

미세조정 대상은 특정 오픈소스 언어모델과 일레븐랩스의 음성 모델이다. 회사는 기업별 데이터와 지표를 반영해 모델을 조정할 계획이다.

기업은 실제 AI 서비스 배포 과정에서 얻은 데이터를 활용하고 고객 만족도(CSAT)나 신뢰성 같은 지표를 선택할 수 있다. 일레븐랩스 연구진은 기업과 함께 선택한 지표를 바탕으로 모델을 조정한다.

마티 스타니셰프스키(Mati Staniszewski) 일레븐랩스 공동창업자 겸 CEO는 “사람과 기업의 고유성을 반영하지 않고서는 인간과 AI의 상호작용 문제를 풀 수 없다”고 말했다. 기업마다 다른 맥락과 평가 기준을 모델 조정에 반영하겠다는 설명이다.

일레븐랩스 공식 LinkedIn 게시물은 음성 모델의 범위를 텍스트 음성 변환(Text to Speech)과 음성 인식(Speech to Text)으로 구체화했다. 공식 발표문은 음성 모델의 적용 범위를 구체적으로 밝히지 않았다.

일레븐랩스는 금융 서비스용 도메인 최적화 모델도 개발 중이라고 밝혔다. 의료 분야 사례로는 복잡한 의학 용어와 이름이 비슷한 약물을 구별하는 Scribe v3 Medical을 들었다.

Scribe v3 Medical의 성능 설명은 회사 발표에 담긴 내용이며, 독립적인 검증 결과는 제시되지 않았다. 현재 음성인식 안내 문서는 의료·임상 오디오에 Scribe v2 Medical 사용을 권하고 있다.

서밋 발표문은 Scribe v3 Medical의 제공 시점이나 일반 제공 여부를 밝히지 않았다. 제품 안내 문서에 적힌 모델 버전과 발표에서 언급한 버전은 서로 다르다.

◇ 대화 흐름에 맞춰 모델 선택

Interaction Engine은 대화의 각 단계에서 응답 시점과 사용할 언어모델을 조율하는 시스템이다. 일레븐랩스는 이번 발표에서 이를 미리보기로 소개했다.

시스템은 이용자가 말을 마치는 시점을 판단하고, 대화 도중 이용자가 끼어들면 AI가 응답을 멈추도록 조율한다. 대화 흐름에 따라 응답을 시작하거나 중단하는 기능을 다룬다.

요청 내용에 맞춰 사용할 대규모 언어모델(LLM)도 고른다. 단순한 요청에는 비용이 낮은 모델을, 복잡한 요청에는 성능이 높은 모델을 배정하는 방식이다.

일레븐랩스는 모델 선택을 통해 토큰 사용량을 관리할 수 있다고 설명했다. 토큰은 언어모델이 입력과 출력을 처리할 때 사용하는 텍스트 단위다.

기존 ElevenAgents 문서에도 대화 차례와 끼어들기 설정이 안내돼 있다. 본지는 앞서 일레븐랩스가 음성 전사 결과에 문자별 발화 시점을 붙이는 모델 큐를 소개한 내용을 보도했으며, 이번 Interaction Engine은 전사보다 대화 흐름과 언어모델 선택에 초점을 맞췄다.

뉴욕 서밋 일정에는 Customers Bank와 Banco Inter, 나스닥(Nasdaq) 관계자가 참여하는 금융 분야 패널이 포함됐다. 패널 참여는 이들 기관의 신제품 도입이나 지지를 뜻하지 않는다.

일레븐랩스는 공식 발표문에서 기업별 미세조정 기능을 수개월 내 지원할 계획이라고 밝혔다. 구체적인 출시일과 Interaction Engine의 일반 공개 일정은 제시하지 않았다.