영상 AI ‘얼라이브’, 요청 관리하고 정보 부족 땐 되묻는다
ALIVE는 사용자의 요청을 이어서 관리하고, 영상에서 지정한 조건이 나타나면 알리도록 설계됐다. 연구진은 공개 벤치마크 4종에서 비교 모델 중 가장 높은 종합 점수를 보고했다.
토포AI로 이 기사 더 깊이 읽기
실시간 영상에서 여러 사용자 요청을 관리하고, 필요한 정보가 부족하면 추가 질문을 하는 영상 언어 모델 ALIVE가 공개됐다. 사용자가 지정한 조건이 화면에 나타나면 별도 요청 없이 알림을 보내도록 설계됐다.
칭화대(Tsinghua University)·베이징대(Peking University)·바이트댄스(ByteDance) 등 소속 연구진은 17일 오전 1시 35분(한국시간) 공개한 arXiv 논문에서 ALIVE를 소개했다. 연구 대상은 영상을 생성하는 기술이 아니라, 들어오는 영상을 보며 언제 응답할지 결정하는 기술이다.
논문은 기존 스트리밍 영상 모델이 영상 흐름을 계속 관찰해도 개별 질문에 따로 답하는 경우가 많다고 설명했다. ALIVE는 사용자의 요청을 일회성 질문으로 처리하는 대신 진행 중인 작업으로 유지하는 데 초점을 맞췄다.
사용자는 특정 장면이나 조건을 감시하도록 요청할 수 있다. 이후 지시를 바꾸면 진행 중인 작업을 수정하거나 취소할 수 있고, 여러 요청을 동시에 관리하도록 설계됐다.
모델은 답변에 필요한 영상 증거가 모였는지 판단해 응답 시점을 정한다. 정보가 부족하면 추가 설명을 묻거나 사용자에게 화면에 필요한 정보를 보여 달라고 요청하고, 근거가 생길 때까지 답변을 보류할 수도 있다.
ALIVE의 기반 모델은 Qwen3-VL-8B-Instruct다. 연구진은 대조 방식의 지도 미세조정과 강화학습을 차례로 적용했다.
첫 단계에서는 언제 답하고 기다릴지, 어떤 형태로 응답할지를 학습했다. 지도 미세조정에 사용한 상호작용 예시는 28만8436개다.
두 번째 단계에서는 여러 차례 이어지는 대화에서 판단과 답변을 다듬었다. 강화학습에 사용한 상호작용 예시는 3523개다.
학습 자료를 만드는 과정에는 별도의 오프라인 멀티모달 모델도 활용됐다. 연구진은 이 모델로 영상에서 답변의 근거가 되는 시점을 정리하고, 대화를 생성한 뒤 품질을 검증했다고 밝혔다.
연구진은 공개 벤치마크 4종에서 ALIVE가 비교 모델 가운데 가장 높은 종합 점수를 얻었다고 보고했다. OVO-Bench는 68.9%, StreamingBench는 76.0%, IPIBench는 40.3%, ProactiveVideoQA는 51.6이다.
앞의 세 점수는 정확도지만 ProactiveVideoQA의 점수는 PAUC다. 평가 지표가 달라 수치의 크기를 서로 직접 비교할 수는 없다.
추가 질문 능력을 따로 평가하기 위해 연구진은 FSI-Bench를 자체 구성했다. 1235개 에피소드로 △모니터링 제안 154개 △추가 정보 요청 446개 △사용자 행동 요청 459개 △바로 답변 176개를 평가했다.
FSI-Bench에서 ALIVE의 종합 정확도는 명시적 선택 방식 52.8%, 자유 응답 방식 54.0%로 보고됐다. 논문이 제시한 자유 응답 방식의 인간 기준 점수는 88.5%다.
FSI-Bench는 연구진이 만든 평가셋이며, 답변 정확도 판정에는 고정된 대규모 언어 모델 심판을 사용했다. 따라서 자체 평가 결과를 해석할 때는 평가셋과 판정 방식도 함께 고려해야 한다.
공개 벤치마크 일부에는 비교 모델의 결과가 빠져 있다. 논문은 공식 결과가 없는 모델을 평가 코드에 맞춰 조정했다고 밝혔으며, 연구진의 성적을 독립적으로 재현한 자료는 제시하지 않았다.
개발진은 GitHub 저장소와 ALIVE-8B 체크포인트를 공개했다. 저장소에는 학습 데이터와 FSI-Bench가 ‘coming soon’으로 표시돼 있다. 로컬 음성 데모에는 Linux와 Python 3.12, GPU 2개가 필요하며 음성 인식·합성에는 별도 모델을 사용한다.

김하린 기자 




Comment 0
불러오는 중…