AMD, MI355X 8개로 키미 K3.1 프로 구동법 공개

AMD($AMD)가 인스팅트(Instinct) MI355X GPU 8개로 문샷AI(Moonshot AI)의 키미 K3.1 프로(Kimi K3.1 Pro)를 구동하는 단일 서버 구성을 공개했다. 공개 내용은 모델 학습이 아니라 추론·서빙 실행 방식과 AMD 개발 환경에서 측정한 결과에 관한 것이다.

AMD는 4일 기술자료에서 추론 엔진 ATOM과 오픈소스 추론 소프트웨어 vLLM을 이용한 구성을 제시했다. 공개된 MXFP4 가중치와 다음 토큰을 미리 제안하는 DSpark 초안 모델을 사용했다.

추론은 학습된 모델을 이용해 요청에 응답을 생성하는 단계다. 이번 발표는 모델을 새로 학습했다는 내용이 아니라 GPU에서 모델을 실행하는 구성과 시험 결과를 다룬다.

ATOM 구성은 MI355X 8개를 묶은 노드 하나에서 텍스트와 이미지 입력을 처리한다. AMD 측 시험에서는 100만 토큰 분량의 요청 한 건이 이 노드에 들어갔다고 밝혔다.

문샷AI 모델 카드에는 키미 K3.1 프로의 총 매개변수가 2조8000억개, 토큰 처리 때 활성화되는 매개변수가 1040억개로 기재돼 있다. 모델은 전문가 모듈 896개 가운데 토큰마다 16개를 선택하는 전문가 혼합(MoE) 구조다.

총 매개변수는 모델 전체의 규모를, 활성 매개변수는 토큰을 처리할 때 연산에 참여하는 부분을 가리킨다. 두 수치는 같은 기준의 값이 아니므로 구분해서 볼 필요가 있다.

모델 카드에 적힌 문맥 길이는 104만8576토큰이며, 입력 모달리티는 텍스트와 이미지다. 문맥 길이는 한 번의 입력 처리에서 모델이 다룰 수 있는 토큰 범위를 나타낸다.

AMD가 공개한 vLLM 개발 시험은 MI355X 8개, TP8·DCP8, 동시 요청 16개, 프롬프트 64개, 접두어 캐시 비활성 설정으로 진행됐다. 입력 12만8000토큰·출력 100토큰 조건에서 결합형 DCP 프리필 최적화 전후 전체 처리량은 초당 6950토큰에서 1만7678토큰으로 늘었다. 첫 토큰 출력까지 걸린 시간(TTFT) 중앙값은 268.7초에서 105.5초로 줄었다.

전체 처리량은 일정 시간 동안 처리한 토큰 수를, TTFT는 요청 뒤 첫 토큰이 출력될 때까지의 시간을 나타낸다. 두 수치는 각각 처리 속도와 첫 응답 대기시간을 보여주는 지표다.

vLLM은 별도 발표에서 키미 K3.1 프로의 발표 당일 AMD GPU 지원과 TP8 실행 명령을 공개했다. AMD의 vLLM 예시에는 DCP8과 DSpark 설정도 포함돼 있다.

다만 AMD가 기술자료에 실은 vLLM 실행 명령에는 --language-model-only 설정이 들어가 있다. 이 명령만으로 vLLM의 이미지 입력 경로까지 검증됐다고 볼 수는 없으며, AMD는 ATOM의 이미지 입력과 다중모달 시험을 별도로 설명했다.

vLLM은 AMD 외에도 엔비디아(NVIDIA, $NVDA) GPU, 구글(Google) TPU, 알리바바(Alibaba) T-Head의 Zhenwu PPU 지원을 함께 밝혔다. 각 플랫폼의 실제 운영 규모나 비용을 비교한 결과는 제시하지 않았다.

문샷AI는 10월 23일 키미 K3.1 프로를 공개해 자사 앱과 API에서 제공했다. 문샷AI가 키미 K3.1 프로를 공개한 사실은 앞서 전한 바 있다. 회사는 전체 모델 가중치를 11월 4일까지 공개하겠다고 예고했으며, 현재 모델 저장소에는 가중치와 모델 정보가 게시돼 있다.

AMD의 vLLM 실행 구성은 CPU 메모리 약 1.64TiB를 오프로딩에 예약한다. 최대 시퀀스 수를 48로 설정해도 100만 토큰 요청 48건을 동시에 처리할 수 있다는 뜻은 아니라고 AMD는 명시했다.

AMD는 성능 결과가 하드웨어와 소프트웨어 버전, 작업 설정에 따라 달라질 수 있다고 밝혔다. 공개된 처리량과 TTFT는 AMD 개발 환경에서 측정한 수치다.