3단계 음성 에이전트 구성 제시…오디오 전송 인증은 별도

어셈블리AI(AssemblyAI)가 음성 인식(STT)부터 답변 생성, 음성 출력(TTS)까지 세 단계를 자사 API 키 하나로 연결하는 음성 에이전트 구성을 제시했다. LiveKit을 오디오 전송에 사용할 경우 LiveKit 인증 정보는 별도로 설정해야 한다.

어셈블리AI는 2026년 9월 30일 공개한 개발 가이드에서 STT에 ‘Universal-3.6 Pro Realtime’, 답변 생성에 ‘LLM Gateway’, 음성 출력에 자사 Text-to-Speech API를 쓰는 방식을 소개했다. 이 세 단계를 LiveKit, Pipecat 또는 자체 실행 루프로 연결할 수 있다고 설명했다.

가이드의 ‘키 하나·청구서 하나’는 어셈블리AI의 STT·LLM·TTS 서비스에 대한 설명이다. LiveKit을 배포 경로로 선택하면 LiveKit 접속에 필요한 인증은 별도로 관리해야 한다.

구성은 이용자의 음성을 STT가 문자로 바꾸고, 대규모 언어모델(LLM)이 답을 만든 뒤, TTS가 이를 음성으로 내보내는 순서다. 각 단계의 모델과 서비스를 연결해 음성 대화 흐름을 만든다.

역할도 나뉜다. LiveKit은 실시간 오디오 전송을, LiveKit Agents는 STT·LLM·TTS 단계를 묶어 실행하는 오케스트레이션을 맡는다.

국내 개발자가 살필 부분은 한국어 지원 범위다. LiveKit의 어셈블리AI STT 문서에는 한국어가 지원 언어로 올라 있지만, TTS 지원 목록에는 영어·스페인어·독일어·프랑스어·이탈리아어·포르투갈어만 기재돼 있다. 한국어 음성을 문자로 바꿀 수 있다는 사실이 같은 구성에서 한국어 음성 답변도 지원한다는 뜻은 아니다.

LiveKit Agents는 어셈블리AI STT와 TTS를 연결하는 플러그인을 제공한다. LLM Gateway는 오픈AI(OpenAI) 호환 API이며, LiveKit 문서는 호환 언어모델을 연결할 때 사용자 지정 base_url을 지정하는 방법을 안내한다.

각 구성 요소를 연결할 근거는 개별 문서에 나뉘어 있다. 개발자는 해당 연결 방법을 조합해 구현해야 하며, 세 서비스를 한데 묶은 단일 공식 실행 예제가 제시된 것은 아니다.

어셈블리AI가 별도로 공개한 LiveKit 튜토리얼은 다른 조합을 사용한다. 음성 인식에는 어셈블리AI를 쓰지만, 답변 생성에는 GPT-4o를, 음성 출력에는 Cartesia를 사용한다.

튜토리얼에 안내된 환경 변수에는 LiveKit·어셈블리AI·오픈AI·Cartesia의 인증 정보가 각각 들어간다. 따라서 이 튜토리얼은 세 단계를 모두 어셈블리AI에 연결한 ‘키 하나’ 실행 사례가 아니다.

인증과 과금은 TTS 연결 경로에 따라 달라진다. 어셈블리AI 플러그인으로 TTS를 직접 연결하면 어셈블리AI API 키가 필요하지만, LiveKit Inference를 통해 이용하면 별도의 어셈블리AI 키 없이 LiveKit Cloud에서 사용량과 한도를 관리한다.

어셈블리AI가 공개한 음성 인식 벤치마크는 STT 모델의 성능 자료다. 이를 LiveKit을 포함한 전체 에이전트의 응답 시간이나 운영 안정성 지표로 확대 해석할 수는 없다.

본지는 앞서 아고라 통화 전사 예제에 답변 생성과 음성 출력 코드가 빠져 있다고 보도했다. 이번 가이드는 STT·LLM·TTS를 각각 연결하는 개발 경로를 소개한다.

어셈블리AI의 별도 Voice Agent API 가이드는 세 단계형 구성과 구조가 다르다. 이 경로에서는 LiveKit이 오디오를 전송하고, 어셈블리AI가 하나의 WebSocket에서 STT·LLM·TTS를 처리하며 LiveKit 키와 비밀키는 별도로 설정한다.