20억 매개변수 AI, 퀄컴 스마트 안경서 실시간 구동

인공지능 기업 PrismML이 퀄컴 스냅드래곤 기반 스마트 안경에서 20억 매개변수 규모의 비전·언어 모델을 구동했다. 모델은 사용자가 바라보는 대상을 실시간으로 이해하고 질문에 답하도록 설계됐다.

PrismML은 23일 퀄컴 스냅드래곤 서밋에서 1비트 기반 'Bonsai' 모델을 스냅드래곤 AR1 Gen 1 플랫폼에서 시연했다. 이 소식은 테크크런치가 전했다.

스마트 안경용 Bonsai는 1.7B 규모의 1비트 언어 모델과 0.3B 규모의 4비트 시각 인코더로 구성된 2B 비전·언어 모델이다. 착용자는 안경이 포착한 대상을 바탕으로 실시간 질문을 할 수 있다.

비전·언어 모델은 이미지나 영상 같은 시각 정보와 텍스트를 함께 처리하는 인공지능 모델이다. Bonsai는 시각 정보를 해석하는 인코더와 언어 모델을 결합해 기기 내부에서 응답을 생성하도록 설계됐다.

1비트 모델은 각 가중치를 낮은 정밀도로 표현해 메모리 사용량을 줄이는 방식이다. 가중치는 모델이 입력을 처리하고 결과를 생성할 때 사용하는 수치 정보다.

퀄컴 테크놀로지스는 2026년 9월 스냅드래곤 AR1 Gen 1 플랫폼에서 테스트한 결과, 1비트 언어 모델의 가중치 메모리 사용량이 0.43GB로 대응하는 4비트 모델의 1.66GB보다 3.83배 적었다고 밝혔다. 토큰 생성 속도는 1비트 모델이 초당 15.36개, 4비트 모델이 7.44개로 2.06배 차이가 났다.

해당 수치는 퀄컴 테크놀로지스가 2026년 9월 스냅드래곤 AR1 Gen 1 플랫폼에서 실시한 메모리 사용량과 토큰 생성 속도 비교 결과다.

PrismML은 대형 모델을 크게 줄이면서도 표준 벤치마크 성능을 대부분 유지하는 기술을 개발해왔다. 테크크런치는 PrismML이 모델 규모를 약 4분의 1로 줄이면서 성능 대부분을 유지하는 것을 강점으로 내세우고 있다고 전했다.

바박 하시비(Babak Hassibi) PrismML 공동 창업자 겸 CEO는 “강력한 인공지능이 사람들이 매일 사용하는 기기에 들어가려면 기기 안에 들어갈 수 있어야 한다”고 말했다. 스마트 안경에 인공지능을 적용하려면 모델 크기와 연산 부담을 함께 줄여야 한다는 의미다.

스마트 안경은 카메라와 마이크를 통해 주변 시각·음성 정보를 처리할 수 있지만, 스마트폰이나 서버보다 메모리와 전력, 발열 여유가 제한적이다. 따라서 모델을 작게 만들고 기기에서 직접 실행하는 방식이 주요 과제로 꼽힌다.

PrismML은 퀄컴 테크놀로지스와 협력해 Bonsai의 가중치와 구조를 퀄컴 Hexagon NPU에 맞게 최적화했다고 밝혔다. NPU는 인공지능 연산을 전용으로 처리하는 반도체 장치다.

기기 내부에서 인공지능을 실행하면 응답 지연을 줄이고 시각 정보가 외부 서버로 전송되는 상황을 줄일 수 있다. 이는 네트워크 연결이 불안정한 환경에서도 모델을 사용할 수 있는 구조와 관련된다.

퀄컴은 앞서 엣지 AI 애플리케이션 개발을 위한 멀티미디어 소프트웨어 개발 키트를 공개하며 기기에서 영상·음성·센서 데이터를 처리하는 개발 환경을 확장했다. Bonsai 시연도 이러한 온디바이스 AI 활용 범위가 웨어러블 기기로 넓어지는 사례다.

PrismML은 클라우드 데이터센터에 의존하지 않고 기기 자체의 연산 능력을 활용하는 개방형 가중치 인공지능을 목표로 하고 있다. 다만 PrismML 모델이 탑재된 상용 스마트 안경 제품은 아직 발표되지 않았다.