엔비디아(NVIDIA·$NVDA), GPU 클러스터 운영 절차 공개

엔비디아(NVIDIA·$NVDA)가 쿠버네티스 기반 GPU 클러스터의 설정부터 작업 성능 검증, 장애 감시와 재검증까지 잇는 DSX OS 운영 절차를 공개했다.

엔비디아는 5일 기술 블로그에서 NVIDIA AI Cluster Runtime(AICR), NVIDIA Cluster Readiness Engine(NVCRE), NVSentinel의 역할과 연계 방식을 설명했다. DSX OS는 별도 리눅스 배포판이 아니라 DSX AI 팩토리 플랫폼에 포함된 오픈소스 소프트웨어 계층이다.

AICR은 드라이버·네트워크·스토리지 등 클러스터 구성요소의 버전과 의존 관계, 상태 확인 조건을 설정 파일에 담는다. 운영자는 이를 바탕으로 클러스터에 적용할 레시피를 만든다.

AICR은 레시피를 Helm, Argo CD, Flux 등 기존 배포 도구가 사용할 산출물로 변환한다. 설정을 생성·검증하고 현재 클러스터 구성이 기준 설정에서 벗어났는지도 확인할 수 있지만, 실제 적용과 변경 조정은 배포 도구가 맡는다.

NVCRE는 GPU와 네트워크, 스토리지를 실제 작업 부하로 검사한다. 여러 GPU 간 통신을 확인하는 NCCL 테스트와 AI 학습 작업을 실행하고, 실패한 노드와 사유를 기록한다.

엔비디아는 일반적인 상태 점검만으로 여러 노드가 함께 수행하는 학습 작업의 성능을 확인하기 어렵다고 설명했다. 성능 임계값은 기본 제공되지 않아 운영자가 직접 판정 기준을 설정해야 한다.

기준을 정하지 않으면 목표 성능에 못 미치는 노드도 테스트가 실행됐다는 이유로 통과할 수 있다. 블로그에 제시된 대역폭 기준값은 설정 예시이며, 실제 클러스터에서 측정한 성과가 아니다.

NVCRE는 검사 결과를 제시하지만 노드를 직접 격리하거나 상태를 바꾸지는 않는다. 검사 결과를 바탕으로 한 노드 운영 조치는 별도 절차와 설정이 필요하다.

NVSentinel은 GPU 상태와 Xid 오류, 네트워크 인터페이스 상태, 클라우드 사업자의 유지보수 신호 등을 감시한다. 장애 징후를 운영자에게 알리는 역할도 맡는다.

NVSentinel의 기본 설정은 모니터링 모드다. 오류를 발견해도 노드 격리나 작업 중단, 복구를 자동으로 실행하지 않는다.

운영자가 격리 규칙과 복구 기능을 설정하면 문제가 생긴 노드를 작업 배치에서 제외하고 수리 후 NVCRE 검사 결과에 따라 다시 투입하도록 구성할 수 있다. 이 조치들은 기본값이 아니라 운영자가 활성화해야 하는 기능이다.

생애주기 검증을 켜면 새 노드가 들어오거나 수리한 노드가 돌아올 때 NVSentinel이 검증을 요청할 수 있다. 반면 기존 노드의 드라이버·오퍼레이터·패브릭을 바꾼 뒤에는 운영자가 해당 노드를 작업 배치에서 제외하고 별도로 검증을 요청해야 한다.

AICR, NVCRE, NVSentinel은 모두 Apache 2.0 라이선스로 공개됐다. 엔비디아는 10월 21일 보도자료에서 NVCRE를 DSX OS의 다른 구성요소와 함께 개발자 프리뷰로 소개했다.

AICR 문서는 레시피 상태를 프리뷰와 지원으로 구분한다. NVCRE 공개 저장소에 표시된 최신 릴리스는 11월 2일 등록된 v0.10.0이며, 릴리스 노트에는 Kubernetes 1.29~1.33에서 인증 CRD가 설치되도록 한 변경이 기록됐다.

본지는 앞서 AICR을 활용한 다이나모 배포·검증 절차와 분산 학습 작업의 중단을 감지해 재시작을 조정하는 도구를 보도했다. 이번 가이드는 클러스터 구성, 작업 부하 검사, 장애 이후 노드 재투입을 하나의 운영 흐름으로 설명한다.

이번 기술 블로그는 세 도구의 사용 절차를 제시했지만, 적용 전후 클러스터 효율이 얼마나 달라졌는지 보여주는 비교 수치는 담지 않았다.