국내 AI 4종, 다이나모 배포 레시피 공개…B200 구성 제시

국내 AI 모델 4종을 위한 다이나모 배포 레시피가 공개됐다. 모델별로 B200 GPU 수와 통합형·분리형 실행 구성을 안내한다.

엔비디아(NVIDIA·$NVDA)는 8일 공식 블로그에서 SK텔레콤($017670)의 A.X K2, LG AI연구원(LG AI Research)의 K-EXAONE 2.0, 업스테이지의 Solar Open 2, Motif Technologies의 Motif-3용 레시피를 공개한다고 밝혔다.

다이나모(Dynamo)는 여러 노드에서 대형 모델을 서빙하는 오픈소스 추론 프레임워크다. 요청 라우팅과 GPU 간 통신을 조정해 분산된 연산 자원에서 모델을 실행하도록 돕는다.

엔비디아는 레시피가 기본 설정에서 성능을 최대 2배 높인다고 밝혔다. 다만 블로그에는 비교 설정이나 측정 워크로드가 제시되지 않아 이 수치를 네 모델 각각의 성능 개선으로 일반화하기는 어렵다.

A.X K2 레시피는 통합형에 B200 8개, 분리형에 12개를 배치한다. 두 구성은 각각 통합형 작업자와 입력 처리·출력 생성 작업자를 나눠 쓰는 설정이다.

다이나모 레시피 목록과 모델별 문서는 K-EXAONE 2.0과 Solar Open 2에 B200 4개·8개 구성을 제시한다. Motif-3 레시피는 통합형 2개, 분리형 8개를 안내한다.

통합형은 입력 처리와 출력 생성을 한 구성에서 수행한다. 분리형은 두 작업을 별도 GPU 자원에 배치해 처리한다.

K-EXAONE 2.0 문서는 1,805건의 채팅 추적 데이터를 사용한 결과를 공개했다. B200 4개 통합형의 사용자 출력 속도 중앙값은 초당 51.4토큰, 첫 토큰 지연시간 중앙값은 291ms였다.

B200 8개 분리형은 사용자 출력 속도 중앙값이 초당 54.9토큰, 첫 토큰 지연시간 중앙값이 2,230ms였다. 두 구성은 동시성 설정이 각각 7과 14로 다르다.

문서는 최대 문맥 길이 262,144토큰을 넘은 요청 38건을 집계에서 제외했다. GPU 수와 동시성 설정도 달라 두 결과를 같은 조건의 직접 비교로 보기는 어렵다.

Solar Open 2 문서는 기본 Dynamo 1.4.1 vLLM 런타임이 모델을 지원하지 않아 별도로 구성된 런타임 이미지가 필요하다고 안내한다. 따라서 해당 레시피에는 런타임 준비 조건도 포함된다.

Motif-3 레시피는 문서에서 실험 단계로 표시됐다. 성능표는 실제 추측 디코딩 결과가 아니라 합성 토큰 수락 길이를 사용한 측정이라고 설명한다.

A.X K2 문서가 제시하는 배포 전제에는 다이나모 플랫폼이 설치된 쿠버네티스 클러스터와 공유 스토리지가 포함된다. 분리형 구성에는 NIXL·UCX 데이터 전송을 위한 인피니밴드 자원도 필요하다.

과학기술정보통신부는 네 모델을 독자 AI 파운데이션 모델 사업 참여 기업들의 모델로 소개했다. 엔비디아의 이번 자료는 해당 모델을 다이나모로 배포하는 설정을 다룬다.

이번 발표는 모델별 배포 레시피 공개를 다뤘으며, 실제 고객사의 운영 적용 규모를 발표한 것은 아니다. 공개된 성능 수치도 모델별 하드웨어와 측정 조건을 함께 봐야 한다.

본지는 앞서 기존 쿠버네티스 클러스터에 다이나모를 배포·검증하는 AICR 절차를 보도했다. 당시 보도는 인프라 구성과 검증 흐름을 다뤘고, 이번 발표는 국내 AI 모델 4종에 맞춘 GPU 배치와 추론 설정을 제시했다.