더우바오, 화면까지 이해하는 실시간 AI 비서로 진화

바이트댄스(ByteDance)의 AI 비서 더우바오(Doubao)가 음성과 화면을 동시에 처리하는 실시간 멀티모달 기능을 도입했다. 사용자가 질문하기 전 화면 변화나 작업 오류를 감지해 먼저 알리는 능동형 상호작용이 핵심이다.

바이트댄스의 AI 연구조직 시드(Seed)는 5일 시드리얼타임(SeedRealtime)을 공개하고 더우바오 앱에 적용했다. 블록비츠(BlockBeats)는 새 기능이 소리와 화면을 함께 처리해 사용자가 보는 장면을 이해하고 응답한다고 전했다.

시드리얼타임을 활용하면 카메라 앞에 있는 물건을 찾거나 작업 절차를 점검하고 화면 속 문자를 읽을 수 있다. 목표물이 나타나거나 화면이 바뀌고 사용자가 잘못된 단계를 수행하면 질문을 기다리지 않고 알림을 제공한다.

이번 업데이트는 지난 4월 공개된 전세대 음성 모델 시드유플렉스(Seeduplex)의 기능을 시각 영역으로 확장한 것이다. 바이트댄스 시드는 4월 9일 공식 블로그에서 시드유플렉스를 듣기와 말하기를 동시에 처리하는 전이중 음성 대규모 모델로 소개했다.

시드유플렉스는 공개 당시 더우바오 앱에 전면 적용됐다. 바이트댄스 시드는 복잡한 음향 환경에서 오답 응답률과 오인 중단률을 절반으로 줄이고, 복잡한 상황에서 AI가 사용자의 말을 끊는 비율도 40% 낮췄다고 밝혔다.

전이중은 상대의 말이 끝나기를 기다리는 반이중 방식과 달리 듣기와 말하기를 동시에 처리하는 상호작용 방식이다. 시드리얼타임은 여기에 실시간 화면 이해를 결합해 책상 위 물건이나 작업 화면, 표지판, 조립 과정 등의 맥락을 직접 해석하도록 설계됐다.

화면을 이해하는 AI 비서 개발은 중국 플랫폼에 국한된 흐름은 아니다. 애플도 시리 AI 개편 과정에서 화면 인식과 개인 맥락 이해 기능을 제시했다. AI 비서의 경쟁 영역이 음성 응답에서 실시간 시각 이해와 작업 지원으로 넓어지는 양상이다.

실시간 시각 입력이 추가되면서 개인정보 처리 방식도 주요 고려 사항으로 떠올랐다. 더우바오 개인정보처리방침은 사용자가 영상통화나 화면공유를 직접 켠 뒤 카메라 촬영 또는 공유 화면의 내용을 처리하며, 마이크와 앨범, 카메라 등 민감 권한은 명시적 승인을 거쳐 사용한다고 설명한다.

이번 기능과 크립토·블록체인 시장의 직접적인 연결점은 확인되지 않았다. 바이트댄스가 공개한 내용도 AI 비서의 음성·화면 상호작용 기능에 초점을 맞추고 있다.