초당 607.8토큰…엔비디아 GLM-5.3 두 장비 분산 구동

엔비디아(NVIDIA·$NVDA)가 GB300 DGX Station 두 대에서 GLM-5.3을 분산 실행해 동시 요청 16건에서 총 처리량 초당 607.8토큰을 기록했다.

엔비디아는 13일 기술 블로그에서 모델 배치 방법과 자체 성능 시험 결과를 공개했다. Station A가 OpenAI 호환 API를 열고 Station B가 작업자로 연결돼, 이용자는 단일 API에 접속하는 구성이다.

GLM-5.3은 Z.ai가 개발한 전문가 혼합(MoE) 모델이다. 전체 매개변수 7530억개 중 토큰을 처리할 때 활성화되는 매개변수는 400억개다.

실습에는 원모델을 NVFP4 방식으로 양자화한 버전이 쓰였다. 양자화된 체크포인트는 약 464GB로, GB300 GPU 한 장의 고대역폭 메모리(HBM3e) 252GB보다 크다.

각 장비의 저장장치에는 체크포인트 전체를 복사하지만, 실행 때는 두 GPU가 가중치와 계산을 나눠 맡는다. 두 GPU의 메모리를 하나처럼 합치는 구조는 아니며, CPU 메모리로 가중치를 옮기지 않고 실행한다.

두 장비는 매 토큰을 생성할 때 RoCE 연결을 통해 중간 결과를 주고받는다. 이처럼 모델을 나눠 실행하려면 GPU 간 통신도 처리 과정에 포함된다.

실습에는 vLLM v0.30.0-aarch64 이미지와 텐서 병렬 크기 2가 적용됐다. 최대 문맥 길이는 입력과 출력을 합쳐 9만8304토큰으로 설정했다.

FP8 KV 캐시와 접두어 캐싱도 사용했다. 다중 토큰 예측(MTP)은 한 단계에서 토큰 4개의 초안을 만들도록 설정됐다.

안내에는 연결 상태 확인부터 체크포인트 복사, API 응답 확인, 장비 간 통신 점검까지의 절차가 담겼다. 두 장비에 모델을 올리는 방법과 자체 부하 시험에 쓴 설정을 함께 제시했다.

엔비디아의 AIPerf 시험은 SPEED-Bench Coding의 대화 80개, 총 89턴을 사용했다. 추론 강도는 기본값인 'max', 출력 상한은 8192토큰이었고 워밍업 요청은 측정에서 제외했다.

동시 요청 1건의 총 처리량은 초당 107.4토큰, 8건은 386.0토큰, 16건은 607.8토큰이었다. 32건에서는 초당 385.0토큰으로 낮아졌으며, 처리량 집계에는 추론 토큰도 포함됐다.

평균 요청 지연시간은 동시 요청 1건에서 49.84초, 8건에서 114.17초, 16건에서 136.46초였다. 32건에서는 453.54초로 늘었다.

따라서 초당 607.8토큰은 동시 요청 16건 조건에서 나온 전체 처리량으로, 이용자 한 명이 받는 답변 속도와 같지 않다. 엔비디아가 정한 코딩 데이터와 캐싱·MTP 설정에서 측정한 결과다.

앞서 10월 5일 스토리지리뷰(StorageReview)는 GB300 DGX Station 두 대에서 같은 모델을 시험했다. 입력과 출력이 각각 512토큰인 작업에서 동시 요청 256건의 출력 처리량은 초당 5018토큰이었다. 당시에는 vLLM 0.27.1과 MTP 초안 5개를 사용해 시험 조건과 설정이 달랐다.

본지는 앞서 DGX Spark에서 네모트론 3.5 라이트닝의 MTP 성능을 시험한 결과를 보도했다. 당시 측정은 다른 장비와 모델에서 수락 토큰을 집계했으며, 이번 시험은 코딩 요청을 동시에 처리할 때의 총 처리량을 측정했다.

엔비디아는 실습 예시에서 API를 여는 Station A의 관리 인터페이스를 포함한 모든 인터페이스에 인증 없는 접속이 노출될 수 있다고 경고했다. 외부 서비스에 연결할 때는 방화벽을 설정하고 인증과 TLS를 적용하도록 안내했다.