DDN 인피니아, 엔비디아 추론 데이터 병목 완화 겨냥

DDN이 스토리지 플랫폼 인피니아(Infinia)를 엔비디아($NVDA)의 추론 데이터 전송 체계에 통합했다. 대형언어모델(LLM) 서비스에서 GPU가 데이터를 기다리는 시간을 줄이는 것이 이번 협업의 핵심이다.

DDN은 7월 23일 기술 블로그에서 인피니아 NIXL 플러그인이 엔비디아의 NIXL 1.3 배포판과 다이나모(Dynamo) 추론 컨테이너에 포함됐다고 밝혔다. NIXL은 ‘NVIDIA Inference Transfer Library’의 약자로, 분산 추론 환경에서 GPU·CPU·SSD·오브젝트 스토리지 사이의 데이터 이동을 처리하는 라이브러리다.

이번 통합은 AI 추론 과정에서 발생하는 ‘KV 캐시’ 이동에 초점을 맞췄다. KV 캐시는 LLM이 앞선 문맥을 재사용하기 위해 저장하는 중간 데이터다. 대화가 길어지거나 여러 요청이 동시에 몰리면 KV 캐시가 GPU 메모리를 빠르게 압박한다. 엔비디아 다이나모 문서는 KV 캐시를 GPU 메모리와 CPU 메모리, SSD, 네트워크 연결 스토리지로 옮겨 재계산을 줄이고 응답 지연을 낮출 수 있다고 설명한다.

기존에는 스토리지 플러그인을 별도로 확보하고 설치된 NIXL 버전과의 호환성을 검증한 뒤 환경별로 유지해야 했다. NIXL 1.3부터는 인피니아 플러그인이 표준 패키지에 포함돼 NIXL을 설치하거나 다이나모 컨테이너를 사용한 뒤 DDN 클라이언트 패키지만 추가하면 된다. DDN은 애플리케이션 코드를 바꾸지 않고 설정만으로 KV 캐시 가속 기능을 켤 수 있다고 설명했다.

스벤 외메(Sven Oehme) DDN 최고기술책임자(CTO)는 기술 블로그에서 “DDN Infinia now feeds context to the GPUs directly”라고 말했다. 인피니아가 GPU에 문맥 데이터를 직접 공급해 GPU가 토큰 생성에 더 많은 연산 자원을 쓰도록 한다는 설명이다. 다만 실제 비용 절감 폭은 고객 환경과 워크로드에 따라 달라진다.

깃허브(GitHub)의 ai-dynamo/nixl 저장소는 NIXL을 엔비디아 다이나모와 같은 AI 추론 프레임워크의 지점 간 통신을 가속하는 라이브러리로 소개한다. CPU·GPU 메모리와 파일·블록·오브젝트 스토리지를 플러그인 구조로 추상화해 여러 저장 계층의 데이터 이동을 처리한다.

이번 협업은 본지가 앞서 전한 AI 데이터센터의 저장·전송 병목 대응 흐름과 맞닿아 있다. 마이크론과 마이크로칩이 저장장치와 연결 구조의 처리 성능을 높이는 데 초점을 맞췄다면, DDN과 엔비디아는 추론 과정에서 저장된 문맥 데이터를 GPU로 옮기는 경로를 개선한다.

이번 발표에서 크립토·블록체인과의 직접적인 연결은 확인되지 않았다. AI 연산을 사용하는 크립토 인프라 기업에는 GPU 활용률과 데이터센터 비용이 간접적인 운영 요인으로 작용할 수 있지만, 구체적인 영향은 제시되지 않았다.