구글(GOOGL) 클라우드가 AI 시대의 게임 체인저로 부상할 수 있는 새로운 인프라 전략을 발표했다. 인공지능 모델이 점점 더 복잡해지고, 기업 고객의 수요가 빠르게 증가함에 따라, 구글은 오픈소스 기반 도구와 추론 최적화 기술, 대규모 확장성을 갖춘 시스템을 중심으로 AI 인프라의 재편을 추진하고 있다.
이번 전략은 레드햇(Red Hat)과의 협업을 발판으로, 오픈소스 프레임워크 ‘JAX’, 추론 최적화 엔진 ‘VLLM’ 확장, TPU(텐서 프로세싱 유닛) 지원 확대 등을 포함한다. 이와 관련해 마크 로마이어(Mark Lohmeyer) 구글 클라우드 AI 컴퓨팅 인프라 총괄 부사장은 “2025년은 구글에게 있어 ‘추론의 해’”라며, “이제 AI는 단순 예측을 넘어 복수의 추론 단계를 요구하는 ‘리즌닝 모델’로 진화하고 있으며, 이는 기존 인프라로는 감당이 어려운 수준”이라고 강조했다.
최근 AI 모델은 ‘에이전틱 워크플로우’에 기반해 복잡한 업무를 자동화하고 있으며, 기업은 이러한 모델의 요구사항을 충족시키기 위한 탄력적이고 비용 효율적인 인프라가 필수라고 보고 있다. 특히 VLLM은 GPU에서 우수한 성능을 입증해왔으며, 이번에 TPU로 확장되면서 추론당 비용을 낮추는 핵심 전략으로 주목받고 있다. 이는 AI 기반 비즈니스 모델의 수익성을 높이는 데 결정적 역할을 할 수 있다는 평가다.
로마이어 부사장은 “쿠버네티스처럼 세상을 바꾼 오픈소스 기술의 성공이 있었기에, 우리가 내부적으로 개발한 JAX도 외부에 공개하기로 했다”고 설명했다. JAX는 현재 구글의 초거대 AI 모델인 ‘제미니(Gemini)’의 훈련과 서빙에 쓰이고 있으며, 구글은 이를 오픈소스화함으로써 전 세계 AI 개발자 커뮤니티와의 협업을 확대하고 있다.
AI 추론 시대가 본격화되면서 주요 클라우드 기업 간 기술력 경쟁이 한층 치열해지는 가운데, 구글의 이번 행보는 AI 기반의 차세대 컴퓨팅 인프라 시장에서의 우위를 확보하려는 전략적 포석으로 풀이된다. 특히 데이터센터 인프라의 효율성과 경제성이 동시에 요구되는 현 시점에서, 최적화된 추론 인프라는 AI 서비스 상용화의 핵심 척도가 되고 있다.
구글은 이러한 전략을 통해 기존 하드웨어 비용 상승 압박을 극복하고, 고객이 선택할 수 있는 AI 가속기 옵션을 확대함으로써 가격 경쟁력을 제고하고 있다. 이는 단기적인 기술 개선을 넘어 AI 인프라의 표준을 새롭게 정의하기 위한 장기 전략의 일환으로 해석된다.