마이아 200, 자사 시스템 대비 AI 추론 달러당 성능 30% 개선

마이크로소프트($MSFT)는 자체 인공지능(AI) 추론 가속기 마이아 200(Maia 200)이 기존 자사 시스템보다 달러당 성능을 30% 개선했다고 1월 26일 밝혔다. 엔비디아($NVDA)를 전면 대체하기보다 특정 추론 작업의 비용 효율을 높이는 전략으로 풀이된다.

마이크로소프트는 1월 26일 마이아 200을 공개하고 대규모 AI 추론의 경제성을 개선하기 위한 전용 가속기라고 설명했다. 공식 자료에 제시된 비교 대상은 엔비디아 제품이 아니라 마이크로소프트의 기존 시스템이다.

마이아 200은 AI 모델을 새로 만드는 훈련보다 이미 학습된 모델이 이용자 요청에 답하는 추론 단계에 맞춰 설계됐다. 생성형 AI 서비스는 요청이 들어올 때마다 추론 연산을 반복하므로 처리량과 전력 효율이 운영비에 직접 영향을 준다.

회사는 마이아 200이 기존 시스템보다 달러당 성능을 30% 높였다고 밝혔다. 엔비디아 칩보다 운영비를 30~40% 줄였다는 수치는 마이크로소프트의 공식 자료에서 직접 확인되지 않았다.

마이크로소프트는 1월 28일 2분기 실적 콘퍼런스콜에서 마이아 200의 총소유비용(TCO)이 최신 자사 하드웨어보다 30% 넘게 개선됐다고 설명했다. TCO는 장비 구입비와 전력비, 유지·운영비 등을 합친 비용을 뜻한다.

4월 29일 3분기 실적 콘퍼런스콜에서는 마이아 200이 아이오와와 애리조나 데이터센터에서 가동 중이라고 밝혔다. 최신 자사 실리콘과 비교한 달러당 토큰 처리 성능도 30% 넘게 개선됐다고 설명했다.

마이크로소프트는 엔비디아와 AMD, 자체 마이아 칩을 함께 운용해 성능과 비용, 공급의 균형을 맞추겠다는 방침이다. 범용 그래픽처리장치(GPU)를 모두 대체하기보다 워크로드별로 적합한 칩을 배치하는 혼합 전략이다.

추론 전용 칩은 반복되는 연산 유형에 맞춰 하드웨어를 최적화할 수 있다는 장점이 있다. 반면 범용 GPU보다 활용 범위가 좁고 기존 소프트웨어를 옮기는 데 추가 비용이 들 수 있다.

마이아 200은 TSMC의 3나노미터 공정으로 생산되며 이더넷 기반 확장 구조를 채택했다. 마이크로소프트는 최대 6144개 가속기로 구성된 클러스터까지 확장할 수 있다고 밝혔다.

회사는 마이아 200과 함께 트리톤(Triton) 등 소프트웨어 도구도 공개했다. 로이터(Reuters)는 이 도구들이 엔비디아의 핵심 경쟁력인 쿠다(CUDA) 개발자 생태계를 겨냥한 것이라고 보도했다.

AI 가속기의 경쟁력은 반도체 성능만으로 결정되지 않는다. 개발 도구와 라이브러리, 기존 모델과의 호환성이 확보돼야 고객이 새로운 칩으로 작업을 옮길 수 있다.

업계 평가는 엇갈린다. 테크타깃(TechTarget)이 인용한 분석가들은 마이아 200이 코파일럿(Copilot) 같은 대규모 챗봇형 추론에는 적합할 수 있지만 소프트웨어 호환성과 전환 비용 때문에 엔비디아를 단기간에 대체하기는 어렵다고 평가했다.

일부 분석가는 장기적으로 엔비디아의 지배력이 희석될 수 있다고 봤다. 다른 분석가는 향후 3~4년 동안 마이아가 엔비디아의 입지를 크게 흔들 가능성에 회의적인 견해를 보였다.

마이크로소프트의 자체 칩 확대는 외부 반도체 공급사 제품과 내부 설계 칩을 병행해 비용과 공급망을 조정하려는 움직임이다. 공식 성과가 자사 인프라를 기준으로 제시된 만큼 외부 고객의 실제 이용 비용과 직접 연결해 해석하기는 이르다.

최근에는 관심이 차세대 마이아 300으로 옮겨가고 있다. 배런스(Barron's)는 마이크로소프트가 자체 AI 칩 생산 확대를 추진하며 마이아 300을 이르면 9월 공개할 수 있다고 보도했다. 본지도 앞서 마이크로소프트의 자체 AI 칩 증산 계획과 마이아 300 공개 가능성을 전했다.