엔비디아, AI 학습 중단 감지·재시작 도구 공개

엔비디아(NVIDIA·$NVDA)가 분산 인공지능(AI) 학습 작업의 충돌·멈춤·처리량 저하를 감지해 재시작을 조정하는 오픈소스 서비스 ‘NVIDIA Recovery’를 공개했다. 운영자 설정과 작업별 정책에 따라 재시작을 조정하도록 설계됐으며, 현재 실험 단계다.

엔비디아 DSX 공식 문서는 Recovery를 DSX OS의 ‘상태 관리 및 복원력’ 구성요소로 소개한다. 공개 저장소와 공식 문서에는 Apache 2.0 라이선스가 표시돼 있다.

DSX OS 문서는 이를 AI 팩토리 인프라의 구축·운영·확장을 위한 모듈형 오픈소스 소프트웨어로 설명한다. 엔비디아는 10월 21일 발표에서 DSX OS가 인프라 수명주기를 자동화하고 상태 자동화와 복원력 기능을 개선한다고 밝혔다.

분산 학습은 여러 GPU와 노드에 작업을 나눠 수행한다. 프로세스 하나가 실패하거나 작업이 멈추면 해당 작업에 배정된 GPU 전체의 학습 진전이 중단될 수 있다.

스케줄러는 종료된 작업을 다시 실행할 수 있지만, 작업이 종료되지 않은 채 멈춘 경우에는 진행 신호를 살펴야 한다. Recovery는 이런 정체를 감지하도록 설계됐다.

감지에는 운영자가 설정한 로그 패턴과 학습 진행 신호가 쓰인다. 충돌 감지는 PyTorch·NCCL, CUDA, GPU 연결 오류 등의 흔적을 찾고, 멈춤 감지는 예상한 진행 신호가 끊겼는지 살핀다.

처리량 저하도 감지 대상이지만, 이를 이유로 한 자동 복구는 기본 설정에서 꺼져 있다. 운영자가 별도로 활성화해야 해당 기준에 따른 복구가 작동한다.

문제가 감지되면 Recovery는 실패 시도와 재시도 정책을 기록한다. 기본 배포는 스케줄러를 변경하지 않는 관찰 모드다. 운영자가 조치 모드와 스케줄러 작업 승인 설정을 활성화하고 작업 정책이 재시도를 허용하면 재시작 권고를 스케줄러 연동부에 전달한다. 연동부는 작업을 재배치하거나 다시 시작하고, 요청한 상태가 실제로 반영됐는지 확인한다.

특정 노드를 제외하는 기능은 NVIDIA Attribution의 진단 근거가 있을 때 사용할 수 있다. 재시도 횟수는 작업별 설정과 운영자 정책에 따라 제한된다.

현재 구현된 스케줄러 연동은 Slurm이다. 엔비디아의 AI 클러스터용 쿠버네티스 설정 레시피 공개도 본지가 앞서 다뤘지만, Recovery의 쿠버네티스 지원은 Slinky를 통해 Slurm을 실행하는 방식에 한정된다. Kubernetes 고유 작업의 복구 기능은 구현되지 않았다.

엔비디아 문서가 제시한 GPU 클러스터 지원 범위는 Ampere부터 Blackwell까지다. 지원 범위는 제품의 스케줄러 연동 범위와는 별도로 제시돼 있다.

작업을 다시 시작해도 학습 진전이 자동으로 복구되는 것은 아니다. 학습 애플리케이션이 모델 상태를 영속 저장소에 체크포인트로 저장하고, 재시작한 작업에서 이를 불러와야 한다. Recovery는 체크포인트 파일을 만들거나 모델 상태를 복사하지 않는다.

재시도 작업은 Slurm의 자원 배정을 기다릴 수 있다. 따라서 실제 학습 재개에는 체크포인트 준비와 스케줄러의 자원 배정이 모두 영향을 준다.

기본 구성에서는 NVIDIA Attribution이 활성화된다. 이를 사용하려면 제공자 소스에 대한 승인된 접근 권한이 필요하다. Attribution을 꺼도 정책 기반 복구는 작동하지만, 비공개 근본 원인 진단과 진단 근거를 활용한 노드 제외는 이용할 수 없다.

엔비디아는 Recovery를 실험 단계로 분류하고 프로덕션 사용 준비가 되지 않았다고 밝혔다. 인터페이스와 동작이 바뀔 수 있으며, 프로덕션 규모의 운영·가용성·복구 시간은 보장하지 않는다. 복구 시간 단축률이나 실제 운영 성과를 보여주는 수치는 제시되지 않았다.