다이나모 배포·검증 절차 공개…엔비디아($NVDA) AICR 활용

엔비디아(NVIDIA·$NVDA)가 기존 쿠버네티스 클러스터에 다이나모 분산 추론 환경을 배포하고 검증하는 절차를 공개했다. GPU 워커와 요청 라우팅을 포함한 구성요소를 환경별 레시피로 묶는 방식이다.

엔비디아는 10월 30일 기술 블로그에서 AI 클러스터 런타임(AICR)을 활용한 배포 흐름을 설명했다. 다이나모(Dynamo)는 여러 GPU 워커에 걸쳐 모델 서빙을 조정하는 분산 추론 프레임워크이며, AICR은 이를 지원하는 구성요소와 인프라를 함께 설정하는 도구다.

AICR 레시피에는 구성요소 버전과 설정, 호환 조건, 검증 항목이 기록된다. AICR은 이미 마련된 클러스터를 설정하고 점검하며, 클러스터 자체를 새로 만들지는 않는다.

절차는 클러스터 상태를 스냅샷으로 기록하는 데서 시작한다. AICR은 쿠버네티스 배포 환경과 GPU, 운영체제를 식별해 해당 조건에 맞는 다이나모 레시피를 만든다.

생성된 레시피는 배포용 묶음으로 변환한 뒤 설치한다. 운영자는 Helmfile·Helm 또는 GitOps 방식으로 배포하고, 클러스터가 레시피의 조건을 충족하는지 확인한다.

레시피에는 엔비디아 GPU 오퍼레이터, Node Feature Discovery, DRA GPU 드라이버, KAI Scheduler, Grove, 모니터링용 프로메테우스(Prometheus)와 다이나모 플랫폼 등이 포함된다. GPU 자원 할당과 스케줄링, 모니터링을 비롯한 여러 기능을 함께 구성하는 방식이다.

엔비디아가 제시한 아마존 EKS와 GB200·GB300 NVL72 환경의 예시는 AICR v1.0.0을 기준으로 한다. 이 구성은 다이나모 플랫폼 차트 1.4.2, GPU 오퍼레이터 26.7.1, DRA GPU 드라이버 0.5.0을 지정했다.

이 버전 조합은 해당 GPU와 클라우드 환경을 대상으로 한 예시다. 실제 설치에서는 클러스터의 GPU·운영체제와 지원 조합을 확인해야 하며, 설치 안내는 aicr recipe list로 지원되는 구성을 확인하도록 한다.

요청을 워커로 보내는 방식은 두 가지다. 다이나모 프런트엔드가 워커를 직접 선택하는 구성은 필요한 요소가 상대적으로 적다.

공유 쿠버네티스 인그레스를 사용하는 구성에서는 Dynamo EPP가 워커 엔드포인트를 선택하고 게이트웨이가 요청을 전달한다. 워커 선택과 요청 전달을 각각 다른 구성요소가 맡는다.

블로그는 워커가 저장한 KV 캐시 상태를 활용하는 라우팅 설정도 다룬다. KV 캐시는 모델이 앞선 문맥을 다시 처리하지 않도록 보관하는 중간 데이터다.

KV 캐시를 저장장치로 옮기는 방식은 본지가 앞서 다이나모 추론 환경의 데이터 이동과 함께 보도했다. 이번 엔비디아 발표는 쿠버네티스에서 다이나모 환경을 구성하고 검증하는 절차에 초점을 맞췄다.

AICR v1.2.0-rc0 검증 가이드의 기본 dynamo-router 모드는 least-loaded 방식이다. AICR 릴리스 목록은 v1.2.0-rc0를 사전 공개판으로 표시한다.

검증은 설치된 구성요소의 상태와 GPU 자원 할당, 스케줄링 등 쿠버네티스 기능을 확인하는 단계부터 진행한다. 실제 추론 성능 검증은 GPU를 사용하는 별도 단계에서 이뤄진다.

레시피의 STATUS: pass는 설정이 구조적으로 유효하고 차트 버전이 고정됐다는 뜻이다. 실제 하드웨어에서 추론 성능 검증까지 마쳤다는 의미는 아니다.

다이나모의 AICR 설치 가이드는 쿠버네티스 1.34 이상과 DRA를 요구하며, AICR v1.1.2 기준 다이나모 플랫폼 차트 1.4.2를 지정한다. 가이드는 설치된 플랫폼 버전에 맞는 추론 실행 이미지를 사용하고, 배포 상태와 기능 검증을 통과한 뒤 모델을 배포하도록 안내한다.