분산 AI 장애 진단 도구 공개…엔비디아 깃허브에 게시

엔비디아($NVDA)의 분산 AI 작업 진단 도구 ‘NVIDIA Attribution’이 공식 문서와 공개 깃허브(GitHub) 저장소에 올라와 있다.

엔비디아는 2일 기술 블로그에서 별도 제품인 ‘NVIDIA Recovery’를 소개하고, Attribution을 선택적으로 연동할 수 있다고 설명했다. Attribution의 구성과 지원 범위는 공식 문서에 담겼다.

공식 문서는 Attribution을 자체 호스팅 REST 서비스와 블루프린트 두 부분으로 나눈다. 서비스는 정규화된 관측 자료를 받아 작업별 진단을 반환한다.

블루프린트는 스케줄러와 텔레메트리 시스템에서 로그와 지표를 모아 서비스를 호출하고 결과를 저장한다. 진단 결과를 확인하는 읽기 전용 대시보드도 포함된다.

진단 결과에는 실패 상태와 세부 분류, 증거가 뒷받침할 경우 원인과 담당 노드, 장애로 이어진 사건 사슬이 담긴다. 작업별로 여러 증상과 원인 후보를 한데 보여주는 방식이다.

문서 예시에서는 128개 노드에서 나타난 통신 증상과 ‘NCCL invalid NIC selection’ 오류를 하나의 ‘system_software’ 분류로 묶었다. 이 사례는 기능 설명을 위한 예시다.

Attribution은 이미 수집된 로그와 지표를 대조해 진단한다. 하드웨어를 직접 검사하거나 진단 명령을 실행하지는 않는다.

증거에 여러 원인이 함께 들어맞으면 결과를 ‘ambiguous’로 표시하고, 증거가 부족하면 ‘unattributed’로 반환한다. 따라서 결과는 확정된 원인이라기보다 운영자가 검토할 진단 정보다.

지원 스케줄러는 Slurm 25.11 이상이다. JobSet 형태의 분산 학습에는 JobSet v0.5 이상을 갖춘 Kueue v0.6 이상이 필요하다.

지원 대상으로 열거된 GPU는 A100·H100·L40S·B200·GB200·GB300이다. GB200·GB300의 규칙 적용 범위는 아직 성숙 중이며, NVIDIA KAI Scheduler 진단 기능은 구현되지 않았다.

3일 확인한 깃허브 저장소는 공개 상태이며 Attribution 코드에 Apache 2.0 라이선스를 표시한다. 저장소의 공개 여부와 Recovery 연동에 필요한 빌드·배포 조건은 별도로 볼 필요가 있다.

Recovery 개요 문서에는 Attribution 소스를 아직 공개적으로 가져올 수 없다는 문구가 남아 있다. 공개 저장소 상태와 문서의 소스 접근 안내가 일치하지 않는 대목이다.

Recovery의 Attribution 연동 안내에는 빌드에 승인된 소스 접근이 필요하다고 적혀 있다. 저장소 공개와 연동용 빌드 접근을 같은 조건으로 볼 수는 없다.

Recovery는 장애 감지 뒤 노드를 격리하고 체크포인트를 이용한 작업 재시작을 조율하는 별도 제품이다. Recovery의 감지와 재시작 기능을 다룬 본지 보도와 구분하면, Attribution은 원인 후보와 증상 경로를 진단하는 역할을 맡는다.

엔비디아는 공식 문서에서 RDMA 기반 GPU 클러스터의 진단 결과를 토대로 인프라를 수리하고 혼잡을 조정한 뒤, 작업 중단 사이 평균 시간이 약 3배 늘어난 사례를 제시했다. 구체적인 측정값과 비교 방법은 공개하지 않아, 이를 Attribution만의 일반적인 성능 개선율로 볼 수는 없다.