AI 추론용량 지표 공개…메모리·칩 통신까지 반영

이도현 기자 2026.11.10 04:40

Epoch AI는 가속기당 동시 추론 요청 처리 용량을 비교하는 지표를 공개했다. 모델 4종과 26만2144토큰 문맥, 요청당 초당 50~400토큰 출력 조건을 적용한다.

토포AI로 이 기사 더 깊이 읽기

메모리 칩과 고속 연결부가 드러난 AI 가속기 보드 / TokenPost.ai

AI 가속기 한 개가 동시에 처리할 수 있는 추론 요청 용량을 모델링하는 지표가 공개됐다. 연산량뿐 아니라 메모리와 칩 간 통신, 답변 생성 전 입력을 처리하는 데 필요한 칩도 계산에 넣었다.

Epoch AI는 변경 이력에 추론 성능 지표(Inference Performance Index) 버전 1을 10월 19일 추가했다고 기록했다. 이 지표는 가속기별 동시 디코딩 요청 수를 비교하며, 기준 제품인 엔비디아($NVDA) GB300의 점수를 1로 둔다. Epoch AI 변경 이력

점수는 모델 4종 각각의 처리 용량을 GB300 기준으로 정규화한 뒤 평균을 내 산출한다. 모델별 결과에 같은 비중을 주며, 개별 모델과 출력 속도에 따라 성능 차이는 달라질 수 있다. Epoch AI 공식 방법론

비교 대상은 GLM-5.2, Kimi-K3, Qwen3-Coder 480B, MAI-Base-2 구조를 본뜬 모델이다. 각 요청에는 캐시된 26만2144토큰 문맥을 적용하고, 요청당 초당 50~400토큰을 출력하는 조건을 살폈다.

Epoch AI는 사전 입력과 디코딩을 서로 다른 칩 묶음에서 처리한다고 가정했다. 출력 토큰 1개당 새 입력 토큰 1.51개를 처리하도록 사전 입력 용량도 별도로 계산했다.

실행 시간은 엔비디아의 AISimulate로 추정했다. 모델 연산과 하드웨어 사양을 바탕으로 메모리에 들어가는 배치 크기와 병렬화 구성을 탐색해, 각 출력 속도에서 칩당 동시 요청 수가 가장 큰 설정을 골랐다.

계산에는 추측 디코딩 반복마다 평균 3개 토큰을 받아들인다는 가정과 저정밀 전문가 가중치도 반영됐다. Epoch AI는 토큰 수락률과 정밀도별 결과 품질이 같다는 점 등이 모델링 가정이라고 밝혔다.

이 지표는 실제 서비스에서 측정한 동시 사용자 수나 응답 시간이 아니다. 대기열과 도구 호출 중 멈춤은 반영하지 않으며, 모델 품질과 전력·가격도 점수에 들어가지 않는다.

◇ 긴 문맥 처리에는 메모리도 반영

엔비디아 제품 자료에서 GB300 NVL72는 블랙웰 울트라 GPU 72개를 랙 하나에 연결한 시스템이며, GPU마다 HBM3e 메모리 288GB를 탑재한다. H100 SXM은 GPU당 HBM3 메모리 80GB와 초당 3.35TB의 메모리 대역폭을 제공한다. GB300 제품 자료 · H100 사양 자료

긴 문맥을 다루는 추론에서는 저장된 정보를 읽는 메모리 대역폭과 여러 칩 사이의 통신도 실행 시간에 영향을 준다. Epoch AI는 연산량과 함께 메모리 대역폭·칩 간 연결 사양을 사용해 작업 시간을 추정했다.

엔비디아는 GB300 NVL72의 사용자당 응답성이 호퍼 플랫폼보다 최대 10배 높다고 제시했다. 이 비교는 DeepSeek-R1을 대상으로 GB300에는 FP4와 Dynamo 구성을, H100에는 FP8과 인플라이트 배칭을 적용한 업체 측 수치다. Epoch AI 지표와는 모델링 방식과 측정 대상이 달라 같은 결과로 볼 수 없다. 엔비디아 성능 설명

별도의 사례로, 앞서 엔비디아는 GB300에서 큐원3.8-플래시-넥스트의 단일 GPU 처리량이 초당 1만6000토큰을 넘었다고 제시했다. 본지가 전한 GB300 기반 큐원 처리량 발표 역시 특정 모델과 시스템 구성에서 나온 결과다.

◇ 검증 시험은 별도 조건으로 공개

MLCommons가 11월 4일 공개한 MLPerf Endpoints v1.0 보고서에는 GB300 NVL72의 GPU 4개 시스템으로 DeepSeek-V4.1-Flash를 실행한 결과가 담겼다. 동시 요청 512건에서 시스템 처리량은 초당 3만5185.2토큰, 첫 토큰 응답시간의 90백분위 값은 310.8밀리초였다. 결과는 검증 완료로 표시됐다. MLCommons 검증 보고서

이 보고서에는 같은 조건에서 측정한 H100 결과가 없다. 따라서 두 제품 간 성능 배수를 보여주거나 엔비디아가 제시한 최대 10배 수치를 검증하는 비교 자료로 볼 수 없다.

Epoch AI 지표는 네 모델과 출력 속도 구간을 평균한 가속기당 처리 용량을 모델링하며, MLPerf 보고서는 특정 모델과 시스템 구성에서 나온 시험 결과다. 두 수치는 조건과 측정 대상이 달라 직접 맞대어 해석할 수 없다.