HBM 용량 약 3% 늘어난 베라 루빈…비용당 추론 처리량 최대 30배

김하린 기자 2026.11.06 03:15

엔비디아는 베라 루빈 NVL72의 GPU당 HBM 용량이 전 세대 GB300보다 약 3% 늘고, 특정 작업 부하에서 비용 대비 추론 처리량은 최대 30배라고 밝혔다.

토포AI로 이 기사 더 깊이 읽기

엔비디아($NVDA)의 차세대 플랫폼 베라 루빈(Vera Rubin) NVL72는 GPU 1개당 고대역폭메모리(HBM) 용량이 전 세대 GB300 NVL72보다 약 3% 늘지만, 특정 작업 부하에서 비용 대비 추론 처리량은 최대 30배로 제시됐다.

엔비디아는 5일 게시한 글에서 GPU·CPU·네트워크·저장장치·소프트웨어를 함께 설계해 메모리 효율을 높이는 방안을 소개했다고 차이롄서(财联社)는 전했다. 회사는 AI 모델 규모와 문맥 길이가 커지고 AI 에이전트가 확산하면서 GPU 메모리 부담이 늘었으며, HBM 공급은 빠듯해지고 가격은 오르고 있다고 설명했다. HBM은 AI 가속기에서 연산 데이터를 주고받는 고대역폭 메모리다.

엔비디아는 △저정밀 데이터 형식 NVFP4로 모델 가중치와 KV 캐시를 압축하고 △당장 쓰지 않는 문맥 정보를 더 저렴한 저장 계층으로 옮기며 △여러 GPU에 작업을 분산해 HBM 공간을 확보하는 방안을 제시했다. KV 캐시는 모델이 앞서 처리한 문맥 정보를 저장하는 공간으로, 대화가 길어질수록 더 많은 메모리를 차지한다.

엔비디아는 세미애널리시스(SemiAnalysis)의 AgentX 테스트에서 GB300 NVL72가 특정 작업 부하 기준 H200보다 비용 대비 추론 처리량이 최대 10배, 베라 루빈 NVL72는 GB300 NVL72보다 최대 30배 높았다고 밝혔다. 두 수치는 비교 대상이 서로 다르며, 단순 연산 속도가 아니라 비용 대비 처리량을 나타낸다.

베라 루빈은 CPU와 GPU, 네트워크 장비를 결합한 시스템 단위 플랫폼이다. 앞서 구글 클라우드는 기업 고객에게 베라 루빈 인프라를 전면 개방했다. 메모리 공급 측면에서는 SK하이닉스가 주요 고객 14곳과 2027년과 2028년 전체 생산능력의 50%를 넘는 물량을 장기 공급계약으로 묶었다. 이 비율은 생산능력 대비 계약 물량을 뜻한다.