초당 93.2개 수락 토큰, 엔비디아 DGX Spark MTP 시험

엔비디아(NVIDIA·$NVDA)의 DGX Spark에서 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)을 단일 요청으로 시험한 결과, 다중 토큰 예측(MTP) 방식의 수락 토큰 처리량은 초당 93.2개였다. 같은 조건에서 기본 방식의 생성 토큰 처리량은 초당 75.6개였다.

엔비디아의 TensorRT Edge-LLM 0.10.0 성능표에서 DFlash 처리량은 배치 1 기준 초당 61.5개 수락 토큰이었다. 표는 기본 디코딩을 생성 토큰 기준으로, MTP와 DFlash를 수락 토큰 기준으로 집계했다.

동시 요청을 8개로 늘린 배치 8에서는 기본 방식이 초당 244.9개 생성 토큰을 기록했다. MTP는 초당 185.0개, DFlash는 초당 149.2개 수락 토큰이었다.

배치 8 수치는 요청 8개의 합산 처리량이다. 생성 토큰과 수락 토큰은 집계 기준이 다르므로, 숫자만으로 세 방식의 성능을 같은 기준에서 단순 비교하기는 어렵다.

토큰은 AI 모델이 문장을 나눠 처리하는 단위다. 추측 디코딩은 다음에 나올 토큰 후보를 먼저 제안하고 검증해 출력을 이어가는 방식으로, MTP와 DFlash가 여기에 해당한다.

엔비디아는 TensorRT Edge-LLM 0.10.0에서 네모트론 3.5 라이트닝의 MTP와 DFlash를 지원한다고 밝혔다. 이번 성능표는 이 실행 환경에서 두 방식과 기본 디코딩을 비교한 결과다.

성능표에는 시험 장비가 DGX Spark(GB10)으로 기재됐다. 64GB와 128GB 메모리 구성은 따로 표시되지 않아, 측정 결과를 특정 메모리 용량의 성능으로 볼 수는 없다.

모델 카드의 DGX Spark 실행 예시는 NVFP4 모델을 vLLM 0.27.1과 DSpark로 구동한다. 명령에는 추측 토큰 3개, GPU 메모리 사용률 0.85, FP8 KV 캐시 설정이 포함됐다.

이 실행 예시는 TensorRT Edge-LLM 벤치마크와 별도 경로다. 따라서 모델 카드의 실행 설정과 성능표의 수치를 같은 시험의 전후 결과로 비교할 수 없다.

모델 카드에 따르면 네모트론 3.5 라이트닝은 전체 파라미터 300억개 중 토큰 생성 때 30억개를 활성화한다. DGX Spark용 모델 카드에는 최대 문맥 길이 100만 토큰도 기재됐지만, 이 수치가 64GB 구성에서 검증됐다는 뜻은 아니다.

엔비디아 개발자 영상에는 vLLM과 DSpark로 DGX Spark 한 대에서 동시 작업 16개를 처리하고 초당 500개 이상 토큰을 생성하는 시연이 담겼다. 회사가 제시한 시연 수치로, TensorRT Edge-LLM의 배치 8 시험과 실행 엔진 및 동시 작업 수가 다르다.

엔비디아는 10월 2일 통합 메모리 64GB DGX Spark를 발표했다. 에이서(Acer), 에이수스(ASUS), 델(Dell), 기가바이트(Gigabyte), HP, MSI를 통해 10월 23일부터 공급할 예정이라고 당시 밝혔다.

본지는 앞서 DGX Spark 두 대를 연결한 성능 시험과 판매 계획을 보도했다. 이번 성능표는 두 대를 묶은 결과가 아니라 한 대에서 실행 방식을 비교한 시험이다.

본지는 앞서 DGX Spark 한 대에서 다른 모델의 추론 최적화 결과를 다뤘다. 해당 기사는 Ling-3.0-flash를 시험한 내용으로, 이번 네모트론 3.5 라이트닝 벤치마크와는 모델과 시험 조건이 다르다.

엔비디아는 로컬 추론의 장점으로 클라우드 연결 의존을 줄이고 데이터를 기기 안에서 처리할 수 있다는 점을 제시한다. 모델 사용 조건에는 OpenMDW-1.1 라이선스가 적용된다.