어셈블리AI, 아고라 통화 STT 예제 공개…음성 응답은 별도 구성

어셈블리AI(AssemblyAI)가 아고라(Agora) 통화 음성을 실시간으로 문자로 바꾸는 파이썬 서버 예제를 공개했다. 예제의 구현 범위는 음성 인식(STT)까지다.

어셈블리AI는 9월 30일 공개한 공식 튜토리얼에서 서버 봇이 아고라 통화 채널에 구독자로 참여해 참가자의 오디오를 받는 과정을 설명했다. 봇은 받은 음성을 어셈블리AI의 실시간 STT 모델인 Universal-3.6 Pro Realtime으로 전달한다.

아고라는 통화 음성 전송을 맡고 어셈블리AI는 전사를 담당한다. 기존 통화 프로그램을 수정하지 않고 서버에서 음성 인식을 연결하는 구조다.

예제는 16kHz·16비트·모노 PCM 오디오를 웹소켓으로 보낸다. 코드에는 오디오 입력과 실시간 STT 연결 과정이 담겼다.

서버는 이용자가 말하는 동안 생성되는 부분 전사문과 발화가 끝난 뒤의 최종 전사문을 출력한다. 코드의 처리도 전사 결과를 화면에 표시하는 단계에서 끝난다.

통화 상대에게 답변을 들려주는 대화형 에이전트 기능은 예제에 없다. 최종 전사문을 대규모 언어모델(LLM)에 보내 답변을 만들거나, 음성 합성(TTS)으로 만든 음성을 통화 채널에 내보내는 코드가 구현되지 않았다. 이용자가 에이전트의 답변 도중 끼어들면 재생을 멈추는 바지인 처리도 포함되지 않았다.

전체 에이전트로 확장하려면 최종 전사문을 LLM에 보내 답변을 생성하고, 이를 TTS 음성으로 바꿔 통화에 내보내야 한다. 튜토리얼은 이 연결을 직접 구현하거나 LiveKit·파이프캣(Pipecat) 같은 도구에 버퍼링과 바지인 처리를 맡기는 방식을 안내한다.

튜토리얼은 LLM Gateway에 접근할 수 있다고 설명하지만, 이번 예제 코드에는 이를 호출하는 부분이 없다. 따라서 LLM 연결까지 구현된 예제로 볼 수는 없다.

별도의 2026년 5월 7일 튜토리얼은 구조가 다르다. 이 예제는 Voice Agent API의 단일 웹소켓으로 STT·LLM·TTS를 연결하고 바지인까지 처리한다.

파이프캣은 STT·LLM·TTS를 한 흐름으로 잇는 오픈소스 음성 AI 도구다. 본지는 딥그램의 데일리 인수 뒤에도 파이프캣이 오픈소스로 유지된다고 앞서 보도했다.

30일 확인한 어셈블리AI 가격표에서 Universal-3.6 Pro Realtime의 기본 요금은 음성 1시간당 0.45달러(약 602원)다. 환산에는 29일 기준 1달러당 1337.55원을 적용했다. 이 요금에는 LLM·TTS·아고라 이용료가 포함되지 않는다.

어셈블리AI가 제시한 단어 오류율(WER) 5.19%는 영어 음성 에이전트 대본 1만2460개를 대상으로 한 자체 벤치마크 결과다. 아고라 통화에서 측정한 전사 정확도나 STT부터 TTS까지의 전체 지연시간을 뜻하지는 않는다.

오디오 입력 규격 설명에는 대조가 필요한 부분이 있다. 튜토리얼은 16kHz 기준 160샘플, 즉 10밀리초 오디오 프레임을 설명하면서 같은 대목에서 STT 입력 청크의 허용 범위를 50~1000밀리초로 제시했다.

예제 코드는 오디오 프레임을 받을 때마다 전송한다. 운영 환경에 적용할 때는 청크 규격과 API 응답을 대조해야 한다.

어셈블리AI는 운영 환경에서 테스트 모드 대신 아고라 봇용 토큰을 발급하라고 안내했다.