바이트댄스, 음성·영상 동시 처리 AI 더우바오 적용
바이트댄스(ByteDance)가 음성·영상·텍스트를 함께 처리하는 전이중 AI 모델 시드리얼타임(SeedRealtime)을 더우바오(Doubao) 앱에 적용했다.
바이트댄스의 AI 연구조직 시드(Seed)는 10일 시드리얼타임을 공개했다. 테크플로우(TechFlow)는 이 모델이 오디오와 비디오, 텍스트를 엔드투엔드 구조로 통합하고 인식·이해·판단·표현을 병렬로 처리한다고 전했다.
시드리얼타임은 사용자의 말이 끝나기를 기다리지 않고 입력을 받는 동안 대화 흐름을 판단하는 전이중 상호작용을 지원한다. 대화 차례 전환 기능을 모델 내부에 포함해 외부 음성 활동 감지기(VAD)를 대체했다. 바이트댄스 내부 평가에서는 대화 리듬 문제가 기존 캐스케이드 구조보다 절반으로 줄었다.
이번 모델은 지난 4월 공개된 전이중 음성 모델 시드유플렉스(Seeduplex)의 기능을 영상으로 확장한 형태다. 바이트댄스는 시드유플렉스가 복잡한 소음 환경에서 오응답률과 오중단률을 절반으로 낮췄다고 밝혔다. 사용자가 머뭇거리는 동안 AI가 먼저 끼어드는 비율은 40% 감소했고 대화 유창성 지표는 12% 개선됐다.
앞서 본지는 더우바오가 음성과 화면을 동시에 처리하고 작업 오류를 먼저 알리는 실시간 멀티모달 기능을 도입했다고 보도했다. 시드리얼타임은 텍스트 생성에 머물던 대화형 AI의 기능을 실시간 음성 통화와 화면 이해, 영상 인식으로 넓힌 모델이다.
다만 이번 발표와 암호화폐·블록체인 시장의 직접적인 연결은 확인되지 않았다. 바이트댄스가 공개한 내용에는 토큰 발행이나 블록체인 네트워크 연동 계획이 포함되지 않았다. 기술 보고서와 파라미터 규모, 오픈소스 가중치, 외부 개발자용 API도 공개되지 않았다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사
