큐원, 엔비디아 랙서 초당 1만6000토큰 넘었다

엔비디아(NVIDIA·$NVDA)가 알리바바(Alibaba)의 큐원(Qwen) 최신 미리보기 모델을 GB300 NVL72 플랫폼에서 지원하며 단일 GPU 기준 초당 1만6000토큰 이상 처리량을 제시했다.

블록비츠는 엔비디아 발표를 토대로 큐원3.8-플래시-넥스트(Qwen3.8-Flash-Next)가 GB300 NVL72에서 단일 GPU 기준 초당 1만6000토큰을 넘는 처리량을 기록했다고 전했다. 단일 사용자 처리량은 초당 200토큰을 넘었고, SGLang, vLLM, TensorRT-LLM 등 추론 프레임워크를 지원한다고 했다.

큐원3.8-플래시-넥스트는 총 1760억개 매개변수를 갖춘 모델이다. 토큰당 활성화되는 매개변수는 약 60억개다. 기본 문맥 길이는 26만2144토큰이며, YaRN을 적용하면 100만토큰까지 확장할 수 있다.

활용 영역은 지능형 코딩, 문서 처리, 도구 호출 등 긴 문맥을 다루는 에이전트형 애플리케이션으로 제시됐다. 장문 입력을 한 번에 처리해야 하는 업무에서 문맥 길이와 응답 속도가 함께 중요해진 흐름을 반영한 것이다.

큐원팀은 공식 블로그에서 이 모델이 게이트 델타넷(Gated DeltaNet)과 큐원 스파스 어텐션(Qwen Sparse Attention)을 결합한 하이브리드 구조를 쓴다고 밝혔다. 긴 문맥에서 연산량과 KV 캐시 부담을 낮추기 위한 설계다.

KV 캐시는 대형 언어모델이 이전 입력의 중간 계산값을 저장해 다음 토큰 생성에 활용하는 메모리 구조다. 문맥 길이가 길어질수록 캐시 부담이 커지기 때문에 장문 추론에서는 모델 구조와 하드웨어 대역폭이 함께 성능을 좌우한다.

이번 발표의 초점은 모델 자체보다 추론 인프라에 가깝다. 대규모 언어모델 경쟁이 학습 성능뿐 아니라 실제 서비스 단계의 응답 속도와 처리량으로 옮겨가면서 GPU 플랫폼의 평가 기준도 달라지고 있다.

엔비디아가 GB300 NVL72 위에서 큐원 계열 모델 성능을 제시한 것은 장문 추론과 에이전트 워크로드를 GPU 플랫폼 수요와 연결한 사례다. GB300 NVL72 랙 전력과 냉각·배전 인프라 문제가 함께 거론되는 것도 고성능 AI 서버가 칩 성능만으로 운용되지 않기 때문이다.

엔비디아는 앞서 GB300 NVL72가 72개의 블랙웰 울트라 GPU를 하나의 랙 규모 플랫폼으로 묶고, 72개 GPU NVLink 도메인에서 130TB/s 통신 대역폭을 제공한다고 설명한 바 있다.

큐원3.8-플래시-넥스트의 공개 가중치는 허깅페이스(Hugging Face)와 모델스코프(ModelScope)에 올라왔다. 큐원팀은 공식 블로그에서 프로덕션 버전인 큐원3.8-플래시가 큐원클라우드(QwenCloud)에서 제공되며, 입력 100만토큰당 0.16달러(약 221원), 출력 100만토큰당 0.47달러(약 650원) 가격을 제시했다고 밝혔다.

AI 모델 경쟁은 매개변수 규모 경쟁에서 서비스 효율 경쟁으로 넓어지고 있다. 이번 수치는 장문 문맥 처리와 에이전트형 애플리케이션이 GPU 추론 인프라의 주요 시험대가 되고 있음을 보여준다.