NeuroSpark가 오라클 클라우드 인프라(OCI) 베어메탈에서 AMD($AMD) Instinct GPU와 ROCm을 추론 업무에 사용한다고 AMD가 23일 밝혔다. 적용 대상은 언어 모델, 영상 생성 모델, 텍스트 음성 변환 모델이다.
AMD는 이번 구성으로 NeuroSpark가 고객에게 제공할 수 있는 연산 용량이 늘었다고 설명했다. GPU 모델과 도입 규모는 공개하지 않았다.
AMD는 NeuroSpark가 모델 크기와 지연시간·성능 요구에 맞춰 하드웨어를 선택한다고 설명했다. 일부 고급 모델에는 비용이 더 낮은 선택지가 생겼다는 것도 AMD의 설명이다.
발표에는 비용 비교 대상과 작업 조건, 절감률이 제시되지 않았다. 독립 검증 자료도 확인되지 않았다.
AMD는 NeuroSpark 창업자 토머스 닝(Thomas Ning)이 AMD 칩의 잠재력을 활용해 성능과 경제성을 높일 수 있다고 말했다고 전했다. 이는 회사 관계자의 설명으로, 측정된 성능·비용 결과를 제시한 것은 아니다.
AMD는 NeuroSpark가 실제 워크로드로 모델별 추론·학습 프레임워크를 벤치마크하고, 결과에 따라 하드웨어와 소프트웨어를 조정한다고 밝혔다. 이 과정에서 ROCm 기반 추론 엔진 ATOM과 커널 라이브러리 AITER를 활용하며, 오픈소스 추론 엔진 SGLang과의 통합 작업도 진행한다고 설명했다.
적용 모델별 처리량이나 응답 지연시간 비교 결과는 공개되지 않았다. 따라서 발표에서 확인되는 내용은 NeuroSpark가 OCI에서 Instinct GPU를 추론 업무에 활용한다는 점이다.
오라클($ORCL)은 고객 사례에서 NeuroSpark가 여러 지역에 걸친 신뢰성과 성능, 지원을 이유로 OCI 컴퓨팅을 선택했다고 소개했다. 이 자료는 OCI 사용을 뒷받침하지만 AMD GPU 사용은 언급하지 않는다.
AMD와 오라클은 2024년 OCI의 MI300X 인스턴스와 ROCm 제공을 발표했다. 오라클의 기술 문서에는 MI300X GPU 8개를 탑재한 구성이 안내돼 있지만, NeuroSpark의 실제 사용 모델인지는 확인되지 않았다.
AMD는 앞서 메타 모델용 GPU 실행 구성을 공개해 특정 모델의 실행 방법을 제시했다. 이번 발표는 NeuroSpark가 OCI에서 Instinct GPU를 추론 업무에 사용한다고 밝힌 사례로, GPU 모델과 도입 규모, 서비스 개시일은 공개되지 않았다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular