AI가 인프라를 농락한다… 메타·엔비디아·AWS의 총력전 시작됐다

인공지능(AI)의 급격한 발전 속도가 기술 인프라의 한계를 드러내며, 이를 따라잡기 위한 글로벌 기술기업들의 대응이 가속되고 있다. 메타(META)의 엔지니어링 부문 부사장 이지운 송은 최근 열린 AI 인프라 서밋에서 “AI가 우리를 농락하는 수준”이라고 표현하며, 지금의 인프라는 AI 발전 속도를 따라가지 못하고 있다고 강하게 지적했다. 특히 새로운 AI 모델은 매주 등장하지만, 이를 수용할 수 있는 인프라 구축은 수년에 걸쳐 이뤄지는 구조적 간극이 문제로 지목됐다.

특히 엔비디아(NVDA)는 AI 추론 최적화를 위해 8 엑사플롭스 수준의 성능을 갖춘 루빈 CPX 칩을 공개하며 하드웨어 측면의 대안을 제시했다. 이 칩은 기존 대비 3배 빠른 대형 언어 모델 운용 능력을 갖춘 것으로, 엔비디아는 이를 통해 “AI 팩토리 경제” 모델을 강화하고 있다. 엔비디아의 슈퍼스케일 및 HPC 부문 책임자 이안 벅은 “플랫폼 성능 자체가 수익으로 직결되는 시대”라고 강조했다.

하지만 AI 채택의 확산은 단순히 더 나은 칩셋 도입만으로 해결 가능한 수준을 넘어선 모양새다. 메타는 고성능 AI 연산을 위한 지가와트급 데이터센터 ‘프로메테우스’를 오하이오에 건설 중이며, 오는 2026년 가동을 목표로 하고 있다. 이에 더해 하이페리온이라는 차세대 클러스터 역시 최대 5기가와트의 전력을 소모하게 될 것으로 예상되고 있다. 하지만 오픈AI 하드웨어 책임자 리처드 호는 “그마저도 충분하지 않을 수 있다”고 경고하며 AI 인프라의 확장은 끝이 보이지 않는 싸움이 될 수 있다고 지적했다.

인프라 수요를 키우는 주요 원인 중 하나로는 기업용 AI 에이전트의 확산이 꼽힌다. AWS는 최근 에이전트 기반 컴퓨팅 부문에 대규모 투자를 집행하고 있으며, 이에 따라 ‘에이전트 보조’ 단계를 지나 ‘에이전트 중심’의 업무 체계로 빠르게 진화 중이다. AWS의 컴퓨트 추상화 부문 부사장 배리 쿡스는 “기존 IT 업무 방식 자체가 바뀌고 있으며, 지금은 기술 스택을 근본적으로 재정비할 시점”이라고 말했다.

메모리 성능 역시 중요한 화두다. 전통적인 DRAM의 병목 현상을 극복하기 위해, 코브(Kove)와 같은 기업은 서버 메모리를 가상화해 지연 시간을 줄이는 솔루션을 선보이고 있다. 코브는 최근 Redis와 Valkey 기반 추론 엔진 벤치마크에서 기존 로컬 DRAM 대비 최대 5배 큰 워크로드 처리가 가능하다는 결과를 공개한 바 있다. 코브의 CEO 존 오버턴은 “CPU와 GPU는 나날이 발전하지만, 메모리는 여전히 상자 안에 갇힌 채 정체돼 있다”고 지적했다.

AI 칩 자체의 설계부터 생산 과정까지 AI의 개입 범위도 깊어지고 있다는 점도 주목할 만하다. 케이던스 디자인 시스템즈의 AI 펠로우 찰스 알퍼트는 “현재 제작되는 칩의 절반 이상이 AI 기반 설계를 거치며, 3년 내 90%에 도달할 것”이라고 진단했다. 이는 하드웨어 설계에 대한 전례 없는 관심과 투자를 불러오는 흐름으로 이어지고 있다.

이와 동시에, 메타와 엔비디아는 오픈소스 생태계와의 협력을 강화하며 개방형 표준 수립에도 집중하고 있다. 메타는 울트라 이더넷 컨소시엄(Ultra Ethernet Consortium) 설립에 참여했고, 엔비디아는 자사의 블랙웰 컴퓨팅 플랫폼 일부를 오픈 컴퓨트 프로젝트(OCP)에 기여했다. 메타의 송은 “복잡성을 다루는 데 있어서 개방형 표준과 모델, 소프트웨어가 핵심”이라고 강조했다.

결과적으로 AI의 발전을 받쳐줄 인프라 구축은 그 어느 때보다 시급하며, 이는 단순 하드웨어 투자의 문제를 넘어 소프트웨어 정의 메모리, 초대형 데이터센터, 오픈소스 네트워크까지 아우르는 총체적 전환을 요구하고 있다. 송은 “AI가 하드웨어 엔지니어링을 다시 주목받게 만들었다”며, 인프라 시대의 도래를 실감케 했다.