AI 학습 결과 250건 공개…추천·후학습 평가 추가
ML커먼스는 24개 기관이 제출한 153개 시스템의 기록을 공개했다. 57개 시스템이 클라우드 기반이었고, 새 평가 항목에는 추천 시스템 학습과 소프트웨어 개발용 대규모 언어모델 후학습이 포함됐다.
토포AI로 이 기사 더 깊이 읽기
ML커먼스(MLCommons)가 MLPerf Training v6.1의 시험 결과 250건을 공개했다. 153개 시스템의 기록으로, 추천 시스템 학습과 소프트웨어 개발용 대규모 언어모델 후학습이 새 평가 항목에 포함됐다.
ML커먼스는 한국시간 17일 오전 1시 발표문을 내고 24개 기관이 이번 시험에 참여했다고 밝혔다. 전체 시스템 가운데 57개(37%)가 클라우드 기반이었다.
클라우드 기반 시스템 비중은 직전 버전인 v6.0의 29%보다 높아졌다. 이번 결과에는 가속기 규모가 큰 시스템과 새 학습 과제의 기록도 포함됐다.
MLPerf Training은 정해진 모델과 데이터로 학습해 목표 품질에 도달하기까지 걸린 시간을 측정한다. 시험마다 모델과 데이터, 목표 품질이 달라 결과 250건을 하나의 성능 순위로 해석하기는 어렵다.
벤치마크 규정은 Closed와 Open division을 구분하고, 시스템을 구매하거나 대여할 수 있는지에 따른 분류도 둔다. ML커먼스는 학습 시간에 변동이 있으며 비이미지 벤치마크의 변동 폭을 대략 ±5%로 안내한다. MLPerf Training 안내에도 각 시험의 비교 조건이 제시돼 있다.
추천 시스템 시험 DLRMv4-HSTU는 기존 DLRM-dcnv2 벤치마크를 대체했다. 이용자의 행동 이력을 순서대로 처리하는 HSTU 구조를 적용해 추천 모델의 학습 시간을 측정한다. DLRMv4 설명에는 시험에 쓰인 데이터와 구조가 소개돼 있다.
이 시험은 음악 서비스 이용 기록인 Yambda-5B 데이터를 사용한다. 데이터에는 약 47억9000만건의 상호작용 기록이 담겼다.
새 후학습 시험은 Qwen3.5-397B-A17B가 소프트웨어 개발 과제를 수행하도록 학습하는 데 걸리는 시간을 측정한다. 모델은 격리된 실행 환경에서 과제를 시도하고, 그 결과를 바탕으로 추가 학습한다. 후학습 벤치마크 설명에 제시된 목표 품질은 ‘0.69 pass @ 4’다.
이 시험은 GRPO(Group Relative Policy Optimization) 방식을 사용한다. 여러 시도의 상대적 보상을 비교해 모델을 업데이트하며, 실제 서비스에서 에이전트가 수행하는 모든 작업의 품질을 평가하는 시험과는 범위가 다르다.
ML커먼스는 앞서 추론 단계의 처리량과 응답 시간을 다룬 보고서를 공개한 바 있다. 이번 v6.1은 추론 속도가 아니라 학습 목표에 도달하기까지 걸린 시간을 측정한다.
이번 제출 시스템 가운데 12개는 가속기 1000개 이상을 사용했다. 가장 큰 시스템에는 1만240개가 투입됐으며, 엔비디아($NVDA)의 루빈 세대 GPU와 구글 TPUv7 아이언우드가 MLPerf Training 결과에 처음 포함됐다.
구글 클라우드(Google Cloud)는 자체 발표에서 아이언우드 TPU 8192개로 DeepSeek-V3 사전학습 과제의 목표 품질에 1.70분 만에 도달했다고 밝혔다. 아이언우드 640개를 쓴 Qwen 후학습 시험에서는 18.02분이 걸렸다고 발표했다. 두 기록은 과제와 가속기 수가 다르다.
AMD($AMD)는 제출사 보충자료에서 MI350X·MI355X 8개를 사용한 Llama 학습 성능이 v6.0보다 평균 19% 개선됐다고 설명했다. 엔비디아는 같은 수의 GPU를 쓴 조건에서 베라 루빈 NVL72가 GB300 NVL72보다 일부 시험에서 최대 2배 빨랐다고 밝혔다.
이 수치는 각 업체가 자사 제출 결과에서 강조한 내용이다. ML커먼스는 보충자료의 업체별 설명이 협회의 견해를 대변하지 않는다고 명시했다. 제출사 보충자료에는 업체별 결과와 설명이 담겼다.
공식 결과 대시보드는 모델, 제출 기관, 가속기 수와 시스템 구성별 기록을 제공한다. 따라서 결과를 살펴볼 때는 같은 학습 과제와 시스템 조건을 맞춰 비교해야 한다.

김미래 기자 




Comment 0
불러오는 중…