클라우디언, 파이토치에 RDMA 커넥터 탑재… AI 처리속도 74%↑

하이브리드 클라우드 데이터 관리 업체 클라우디언(Cloudian)이 파이토치(PyTorch)용 커넥터에 RDMA(원격 직접 메모리 액세스) 기능을 접목해 AI 및 머신러닝 작업의 데이터 처리 속도를 대폭 끌어올렸다. 이번 발표는 엔비디아의 GPUDirect 스토리지 기술과 네트워크 인프라를 적극 활용한 결과로, AI 생태계 전반에 걸쳐 처리 성능 향상과 비용 절감을 동시에 달성할 수 있다는 점에서 주목받고 있다.

이번에 공개된 커넥터는 파이토치와 외부 저장소 간 데이터를 빠르고 효율적으로 주고받을 수 있도록 설계됐다. 특히 엔비디아의 Spectrum-X 네트워크와 SuperNIC 구성을 바탕으로, 이미지 처리 성능을 초당 5만 2,000장까지 끌어올려 기존 AWS S3 커넥터 대비 74% 향상된 처리속도를 기록했다. 동시에 프로세서 사용률은 43% 줄어들었다. 이러한 결과는 오픈소스 파이토치 성능 벤치마크 도구 '토치벤치(TorchBench)'를 통해 검증됐다.

클라우디언 최고기술책임자 닐 스토바트(Neil Stobart)는 "엔비디아 네트워킹 가속화를 기반으로 데이터 접근 및 처리 방식에 새로운 전환점을 맞이했다"며 "전통적인 네트워크 병목을 제거한 GPU-저장소 직결 통신이 AI 연구자와 엔지니어의 워크플로우를 가속화하는 동시에 인프라 비용도 절감할 수 있게 됐다"고 강조했다.

RDMA 기술이 접목된 이번 커넥터는 CPU 중심의 기존 전송 방식을 우회하고, 메모리 간 직접 연결로 빠르고 안정적인 데이터를 전달할 수 있도록 한다. 이를 통해 엔비디아 Spectrum-X 이더넷 스위치 및 ConnectX SuperNIC을 포함한 모든 엔비디아 기반 인프라와의 고속 데이터 전송이 가능해진다.

이번 기술은 파이토치를 사용하는 AI 연구자, 테크 기업, 학계 관계자, 스타트업 등에 실질적 이점을 제공한다. 특히 컴퓨터 비전, 자연어 처리, 딥러닝 분야에서 엔비디아 가속 인프라를 활용 중인 기업들이 큰 수혜를 입을 것으로 보인다.

클라우디언은 이번 커넥터를 평가용으로 제공하고 있으며, 자사 환경에 맞춰 성능 개선 효과를 직접 검증할 기회를 제공하고 있다. AI 워크로드가 폭발적으로 증가하는 가운데, 클라우디언의 이 같은 기술 혁신은 엔터프라이즈 AI 인프라 전략에서 중요한 전환점을 찍을 것으로 평가된다.