구글에서 선호하는 출처로 추가

90억 매개변수 아우라 2.0, 영상 보고 먼저 대화 시작

화웨이 리서치·CUHK MMLab·홍콩과학기술대 연구진이 영상 속 장면을 보고 먼저 말을 거는 90억 매개변수 모델을 공개했다. 외부 도구 호출과 화면 속 대상 지정 기능도 담았다.

토포AI로 이 기사 더 깊이 읽기

노트북 화면에서 사각형으로 지정된 자전거 바퀴 / TokenPost.ai

화웨이 리서치·CUHK MMLab·홍콩과학기술대 연구진이 영상에서 대화할 만한 장면을 골라 사용자의 질문 없이 먼저 말을 거는 인공지능(AI) 모델 아우라 2.0(AURA 2.0)을 공개했다. 모델은 실시간 영상 질의응답에 외부 도구 호출과 화면 속 대상 지정 기능을 더했다.

연구진은 13일(한국시간) 제출한 기술 보고서에서 핵심 기능으로 모델 주도 대화(MIC), 영상 맥락 기반 도구 호출(SATC), 대화형 시각 대상 지정(IVG)을 제시했다. 세 기능은 영상과 대화의 흐름을 함께 살펴 필요한 때 발화하거나 도구를 쓰고, 화면 속 물체를 짚어 주도록 설계됐다.

허깅페이스(Hugging Face) 모델 카드에 표시된 규모는 90억 매개변수다. 연구진은 기술 보고서에서 Qwen3.5-9B를 기반으로 모델을 초기화했다고 밝혔다.

기존 AURA는 들어온 질문에 답하거나, 답변에 필요한 장면이 영상에 나타날 때까지 기다리는 방식으로 작동했다. AURA 2.0은 모델이 먼저 대화에 나서는 기능을 더했다.

MIC는 질문이 없어도 영상과 앞선 대화를 살펴 발화 여부와 시점, 주제를 정한다. 이미 다룬 내용을 되풀이하지 않도록 이전 대화도 판단에 반영한다.

SATC는 현재 화면과 대화 내용을 함께 고려해 외부 도구를 호출하고, 도구가 돌려준 정보를 이어지는 대화에 반영한다. 사용자가 질문한 내용과 영상의 상황을 함께 처리하도록 한 기능이다.

IVG는 사용자가 영상 프레임에서 표시한 대상을 인식한다. 모델은 답변에서 언급한 물체의 위치를 프레임에 맞춘 사각형(바운딩 박스)으로 제시할 수도 있다.

장시간 영상에서 지나간 장면을 활용하는 기억 기능도 포함됐다. 주요 사건을 글로 요약해 현재 시각 범위를 벗어난 뒤에도 대화 맥락에 남기는 방식이다.

연구진이 보고한 학습 데이터는 약 114억 토큰, 영상 5,400시간, 프레임 4,000만 개다. 이 데이터는 모델이 영상의 장면과 대화 흐름을 처리하도록 학습하는 데 쓰였다.

MIC 내부 평가는 영상 25개를 대상으로 했다. 앞선 대화가 있는 조건에서는 사람이 표시한 발화 기회 구간 25곳 중 20곳에서 모델이 한 차례 이상 발화했고, 응답 품질은 5점 만점에 4.10점이었다.

영상만 주어진 조건에서는 25개 영상 중 24개에서 모델이 한 차례 이상 발화했고, 품질 점수는 3.62점이었다. 이 조건에서 나온 발화 173개 가운데 15개는 ‘나쁨’으로 평가됐다. 두 조건은 평가 구간과 채점 방식이 달라 수치를 직접 비교할 수 없다.

SATC 내부 평가에는 영상 55개에 관한 질문 167개가 사용됐다. 외부 도구를 켰을 때 정답률은 35.9%에서 48.5%로 12.6%포인트 높아졌으며, 연구진은 최종 답변 채점에 대형언어모델 평가자를 사용했다고 밝혔다.

선제 대화와 도구 호출 성과는 모두 제한된 규모의 내부 시험 결과다. 연구진이 제시한 수치는 새 기능을 대상으로 한 평가 결과로, 공개 영상 벤치마크 성과와 구분된다.

가중치에는 CC BY-NC 4.0 라이선스가 적용된다. 허깅페이스 모델 카드는 가중치를 비상업적 연구용으로 안내하고 있다.

해당 라이선스는 제3자 데이터셋과 그 안에 포함된 영상 등 미디어의 권리를 부여하지 않는다. 가중치 이용 조건과 학습 데이터 권리는 별도로 살펴야 한다.

연구진은 먼저 말을 거는 기능의 유용성이 이용자 취향에 따라 달라질 수 있다고 밝혔다. 더 넓은 상호작용 맥락과 이용자 선호를 반영하는 방안을 향후 과제로 제시했다. vLLM-Omni 저장소에는 17일 AURA 2.0 지원 풀 리퀘스트가 올라왔으며, 19일 현재 병합되지 않았다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기