엔비디아 DGX Spark, 추론 처리량 42.5% 늘었다

엔비디아(NVIDIA·$NVDA)가 DGX Spark 한 대에서 Ling-3.0-flash 추론 최적화 세 가지를 함께 적용한 결과, GSM8K 수학 문항 1319개 시험에서 처리량이 42.5% 늘었다. 초당 생성 토큰은 37.81개에서 53.89개로 증가했고 평균 응답 지연시간은 15.21초에서 11.49초로 줄었다.

엔비디아는 27일 기술 블로그에서 자체 평가 결과를 공개했다. 시험은 요청을 한 번에 하나씩 처리하는 배치 크기 1로 진행됐다. Ling-3.0-flash는 전체 파라미터가 1240억개이며 토큰을 생성할 때마다 51억개를 활성화하는 전문가 혼합(MoE) 모델이다.

첫 번째 최적화는 MoE 연산 백엔드를 flashinfer_mxfp4에서 Humming으로 바꾸는 방식이다. 엔비디아가 입력 3만2000토큰과 출력 2000토큰을 사용한 합성 시험에서 토큰 하나를 만드는 시간은 27.71밀리초에서 25.35밀리초로 줄었다. 처리량은 초당 36.09토큰에서 39.45토큰으로 9.3% 증가했다.

두 번째는 모델 출력층인 LM head의 가중치를 온라인 FP8 방식으로 양자화하는 것이다. 엔비디아는 이 방식으로 해당 층의 가중치 읽기량을 절반으로 줄였다고 설명했다. Humming과 FP8을 함께 적용한 합성 시험의 처리량은 초당 43.94토큰으로, 두 방법을 적용하지 않은 기준 구성보다 21.7% 높았다.

세 번째는 모델 안의 NEXTN 계층을 활용한 다중 토큰 예측(MTP)이다. 다음 토큰 여러 개를 먼저 제안하고 검증해 생성 단계를 줄이는 방식이다. 세 방법을 함께 적용한 합성 시험에서는 기준 구성보다 처리량이 185.1% 높았다.

다만 합성 시험 결과를 실제 작업의 성능 향상률로 그대로 볼 수는 없다. 출력 길이를 2000토큰으로 고정하고 탐욕 디코딩을 사용한 합성 시험에서는 반복적인 출력이 예측 토큰의 채택을 쉽게 만들 수 있다고 엔비디아는 설명했다.

GSM8K 시험의 출력 길이 중앙값은 약 310토큰이었고, MTP 예측 토큰의 평균 채택 길이는 2.68이었다. 합성 시험의 채택 길이는 3.90이었다. 서로 다른 조건에서 측정한 결과인 만큼, 합성 시험의 185.1%와 GSM8K 시험의 42.5%는 구분해 봐야 한다.

정확도는 기준 구성 96.89%, 최적화 구성 96.82%로 제시됐다. 엔비디아가 보고한 차이는 0.08%포인트였으며, 통계적으로 검출 가능한 정확도 변화는 아니라고 설명했다. 표시된 두 정확도 수치의 차이는 0.07%포인트다.

이번 수치는 특정 모델과 장비, 시험 설정에서 나온 엔비디아의 자체 평가 결과다. 이번 시험의 독립 재현이나 제3자 검증은 확인되지 않았다.

DGX Spark는 기기에서 AI 모델을 실행하는 장비다. 본지는 앞서 DGX Spark 두 대를 연결한 성능 시험과 판매 계획을 전했다. 이번 발표는 장비를 추가로 연결하는 방식이 아니라 한 대에서 연산 경로와 출력 생성 과정을 조정한 결과다.

세 최적화를 함께 켤 때는 설정을 확인해야 한다. 엔비디아는 MTP 초안 모델이 LM head 모듈 전체를 공유하지 않으면 일부 최적화가 적용되지 않은 채 기준 구성보다 느려질 수 있다고 밝혔다. 배포를 시작할 때 각 기능이 실제로 활성화됐는지 확인하라고 권고했다.