구글에서 선호하는 출처로 추가
GPU 8개 구성으로 메타 모델 지원한 AMD, 출시 당일부터 실행
강이안 기자
AMD가 메타의 ‘뮤즈 스파크 오픈’ 공개일에 MI350X·MI355X 실행 구성을 제시했다. 단일 노드에 GPU 8개를 묶어 ROCm 7.2와 vLLM을 구동하는 방식이다.
토포AI로 이 기사 더 깊이 읽기
AMD($AMD)가 메타($META)의 ‘뮤즈 스파크 오픈’ 공개일인 10월 15일 Instinct MI350X·MI355X용 실행 구성을 발표했다. GPU 8개를 단일 노드에 묶어 ROCm 7.2와 vLLM으로 구동하는 방식이다.
AMD 기술 문서는 BF16 원본 체크포인트와 AMD Quark로 변환한 MXFP4·FP8 체크포인트를 지원 대상으로 제시했다. 텐서 병렬 처리에는 GPU 8개를 사용하며, 실행 환경에는 AMD AITER 커널 라이브러리가 포함된다.
메타 하드웨어 문서도 AMD 플랫폼 항목에 MI350X 또는 MI355X 8개와 vLLM 조합을 기재했다. 병렬 처리 방식은 BF16에 TP8, MXFP4와 FP8에 TP8+EP8로 안내했다. 문서 전체는 엔비디아($NVDA)와 인텔, 애플 하드웨어 구성도 별도로 다룬다.
다만 AMD 문서는 FP8 체크포인트를 나열하면서 설명에는 라우팅된 전문가 가중치를 OCP MXFP4로 양자화한다고 적었다. 체크포인트 명칭과 설명이 일치하지 않아 FP8 구성의 세부 내용은 단정하기 어렵다.
메타가 공개한 뮤즈 스파크 오픈은 총 8160억개 파라미터 가운데 토큰마다 420억개를 활성화하며, 최대 100만 토큰 컨텍스트 창을 지원한다. 이 규모와 AMD 실행 구성은 각 회사가 제시한 사양이다.
AMD는 BF16 구성에서 노드당 3만2000 토큰 요청 32개를 동시에 처리할 수 있다고 기술 문서에 적었다. 이 수치는 AMD가 제시한 실행 조건이며, 타사 GPU와 같은 조건에서 비교한 결과나 독립 검증 결과를 뜻하지 않는다.
이번 구성은 GPU 8개를 전제로 한다. 따라서 공개 가중치 모델이라는 점만으로 일반 PC나 단일 GPU에서 실행할 수 있다고 볼 수는 없다.
AMD가 앞서 큐원 27B를 공개 당일부터 로컬에서 구동하도록 지원한 사례와 마찬가지로 이번 발표도 모델 공개 시점에 맞춘 실행 경로를 제시했다. 이번에는 메타 모델을 대상으로 Instinct GPU와 ROCm·vLLM 조합을 안내했다.
댓글 0
불러오는 중…