AI 성능 판도 바뀐다…칩 아닌 '데이터센터 설계'가 핵심

최신 AI 성능의 향방이 단순히 GPU 성능 경쟁에서 벗어나 시스템 설계 전반으로 이동하고 있다는 분석이 힘을 얻고 있다. AI 인프라 전반을 대상으로 실시된 독립 성능 실험 결과, 동일한 GPU를 사용하더라도 시스템 아키텍처의 차이에 따라 성능 편차가 극명하게 드러났기 때문이다.

AI 분야 리서치기관인 실리콘데이터(SiliconData)와 더큐브리서치(theCUBE Research)가 공동 분석한 자료에 따르면, 현대의 AI 성능은 개별 반도체보다는 시스템이 어떤 방식으로 연동되고 구성되는지에 좌우되는 경향이 강해지고 있다. 특히 실리콘마크(SiliconMark)라는 독립 벤치마크 도구를 통해 측정한 수천 건의 실측 데이터에서 동일한 GPU를 사용한 시스템 간 성능 차이가 두드러졌고, 이는 메모리, 데이터 전송, 전력 소비, 인터커넥트 구조 등 근본적인 시스템 설계 요인에 기인한 것으로 나타났다.

이러한 패러다임 전환은 AI가 ‘시스템 문제(systems problem)’로 이동하고 있다는 점을 명확히 보여준다. 특히 한 업계 관계자는 “이제 연산 단위의 중심축은 GPU가 아닌 데이터센터 전체”라며 핵심 메시지를 간결하게 정리했다.

실제로, 최신 AI 모델은 수천 개에서 수만 개에 이르는 가속기를 병렬로 연결해 대규모 학습과 추론 작업을 수행한다. 이때 가속기 자체의 연산능력보다 각 노드 간 데이터를 얼마나 지연 없이 동기화하고 적절하게 분산 처리하는지가 전체 성능을 좌우한다. 엔비디아(NVDA)의 부사장 길 샤이너는 “진정한 분산 AI 환경에서는 수천 개의 가속기가 하나의 슈퍼컴퓨터처럼 작동해야 하며, 이를 위해선 지터 없는 결정적 패브릭이 필수”라고 강조했다.

눈길을 끄는 기업 중 하나는 람다(Lambda)였다. 람다는 주요 구성 요소 간 데이터 이동 효율을 높이는 아키텍처 설계를 통해, 실제 프로덕션 환경에서 높은 대역폭과 낮은 레이턴시를 일관되게 기록했다. 실리콘마크 결과에 따르면 람다는 호스트-디바이스 간 전송 성능뿐만 아니라 동작 유연성에서도 강점을 지닌 것으로 드러났다. 다만 이런 유연성이 성능 분산(variability)을 유발할 수 있지만, 오히려 이는 다양한 AI 개발환경에서 빠르게 실험하고 병목을 조기에 파악할 수 있는 이점으로 작용한다고 전문가들은 분석했다.

특히 머신러닝 개발자 입장에서 중요한 것은 단순한 FP 연산 성능이 아니라 아이디어를 테스트하고 구현하는 과정에서 생기는 지연을 최소화하는 것이다. 람다의 공동창업자 로버트 브룩스 4세는 “대부분의 ML 엔지니어들은 데브옵스 전문가가 아니다. 시스템은 그 자체로 사라져야 하며, 개발자는 모델에만 집중해야 한다”고 말했다.

궁극적으로 중요한 변화는 AI 시스템의 정의 자체가 바뀌고 있다는 점이다. AI 성능은 이제 단순한 칩 스펙이나 단일 연산 속도가 아니라, 전력공급, 냉각, 메모리 계층, 네트워크 구성, 소프트웨어 통합, 운용 효율성과 같은 시스템 통합 역량에 의해 결정된다. 이에 대해 람다 인프라 총괄 케네스 패쳇은 “진짜 희소 자원은 GPU가 아니라, AI 규모에 맞춰 설계된 데이터센터”라고 지적했다. 그는 AI 전용 데이터센터는 물리적 공간보다 전력, 냉각, 공조, 배관이 정밀하게 조율된 구조로 설계돼야 지속가능한 운영이 가능하다고 강조했다.

이번 연구가 시사하는 핵심은 단순하다. AI가 진화하는 속도를 따라잡으려면, AI 성능을 바라보는 관점부터 달라져야 한다는 점이다. 신중히 구성된 시스템 아키텍처가 단순 연산 성능을 능가하는 시대, 진정한 ‘AI 팩토리’는 특정 하드웨어 조합이 아닌 유기적으로 통합된 운영 모델을 중심으로 구성돼야 가치가 극대화된다. 진정한 AI 성능의 성배(Holy Grail)는 더 이상 칩에 있지 않다. 그것은 데이터 센터 전체에 걸쳐 숨쉬는 시스템 설계에 있다.