구글·엔비디아, ‘AI 하이퍼컴퓨터’로 기업용 AI 팩토리 전면 확대

구글과 엔비디아가 연례 클라우드 행사 ‘클라우드 넥스트’에서 협력 범위를 다시 넓혔다. 핵심은 구글의 ‘AI 하이퍼컴퓨터’ 인프라와 엔비디아의 최신 가속 컴퓨팅 기술을 결합해, 기업이 인공지능 실험 단계에서 대규모 상용 서비스로 더 빠르게 넘어갈 수 있도록 돕는 데 있다.

이번 발표로 구글 클라우드는 엔비디아의 가속 컴퓨팅 스택 유통 범위를 확대하게 됐고, 고객사는 AI 인프라를 직접 복잡하게 조립하지 않고도 비교적 낮은 위험으로 대규모 배포에 나설 수 있게 됐다. 쉽게 말해 GPU, 소프트웨어, 네트워크, 운영 환경을 따로 맞출 필요 없이 ‘한 번에 쓰는’ 형태에 가까워졌다는 의미다.

블랙웰·베라 루빈까지… AI 인프라 확대

구글 클라우드는 엔비디아 기반 신규 인스턴스를 AI 하이퍼컴퓨터 아키텍처에 추가한다. 여기에는 ‘그레이스 블랙웰’ 시스템과 엔비디아 ‘베라 루빈’ 플랫폼 기반의 차세대 A5X 인스턴스가 포함된다. 구글은 이를 통해 학습과 추론을 모두 아우르는 대형 ‘AI 팩토리’ 구축 수요를 겨냥하고 있다.

함께 공개된 ‘버고 네트워킹’은 초대형 AI 데이터센터를 위한 네트워크 패브릭이다. 구글에 따르면 이 기술은 AI 하이퍼컴퓨터의 핵심 백본 역할을 하며, 향후 베라 루빈 기반 A5X 인스턴스가 여러 지역에 걸쳐 최대 96만 개의 GPU로 확장될 수 있도록 지원한다.

이는 단순한 서버 증설 수준이 아니다. 학습, 미세조정, 추론을 같은 인프라 위에서 대규모로 처리할 수 있는 구조를 뜻한다. 기업 입장에서는 수천~수만 개 GPU가 필요한 대형언어모델과 에이전트형 AI 워크로드를 더 현실적으로 운용할 수 있게 된다.

에이전트형 AI·로보틱스까지 확장

이번 협력은 생성형 AI를 넘어 ‘에이전트형 AI’와 ‘물리 AI’ 영역까지 넓어졌다. 엔비디아 옴니버스 라이브러리와 오픈소스 로봇 시뮬레이션 프레임워크 ‘엔비디아 아이작 심’은 이제 구글 클라우드 마켓플레이스에서 제공된다. 개발자는 이를 활용해 실제 환경과 유사한 디지털 트윈을 만들고, 로봇을 현실에 투입하기 전 학습·시뮬레이션·검증할 수 있다.

또 엔비디아 NIM 마이크로서비스는 ‘엔비디아 코스모스 리즌 2’ 같은 모델을 구글 엔터프라이즈 에이전트 플랫폼과 구글 쿠버네티스 엔진(GKE)에서 배포할 수 있게 해준다. 이는 기업이 챗봇 수준을 넘어, 계획하고 행동하는 AI 에이전트와 물리 세계와 연결되는 애플리케이션까지 개발할 수 있도록 길을 넓힌 셈이다.

10년 협력, 이제는 ‘풀스택’ 단계

구글 클라우드와 엔비디아의 협력은 약 10년 전 초기 GPU 인스턴스 시절부터 이어져 왔다. 이번에는 그 협력이 인프라, 소프트웨어, 관리형 서비스, 모델 생태계 전반으로 확장됐다.

현재 구글 클라우드에서는 엔비디아 H100, H200, B200, GB200, GB300, RTX PRO 6000, L4, A100 등 다양한 GPU를 기반으로 구글 컴퓨트 엔진, GKE, 버텍스 AI, 배치, DGX 클라우드, 분산형 클라우드 서비스를 제공하고 있다. 여기에 CUDA, cuDNN, NeMo, Nemotron, JAX·PyTorch 최적화까지 결합되면서 고객사는 AI 개발에 필요한 요소를 한 플랫폼에서 활용할 수 있다.

특히 버텍스 AI, 클라우드 런, GKE 같은 관리형 서비스에 엔비디아 GPU와 자동 확장, 관측 기능이 기본적으로 녹아 있다는 점이 중요하다. 이는 기업이 엔비디아를 ‘특수 하드웨어 프로젝트’가 아니라 필요할 때 바로 쓰는 클라우드 자원처럼 소비할 수 있다는 뜻이다.

구글, 이미 100만 개 이상 엔비디아 GPU 운용

구글은 전 세계 인프라에 100만 개가 넘는 엔비디아 GPU를 배치한 것으로 전해졌다. 내부 서비스와 구글 클라우드 전반에 걸친 대규모 구축이다. 이 정도 규모는 새 GPU 세대가 나왔을 때 고객용 서비스로 빠르게 전환할 수 있는 배경이 된다.

실제로 구글은 호퍼에서 블랙웰, 베라 루빈으로 이어지는 엔비디아 로드맵을 자사 데이터센터와 공급망에 맞춰 신속하게 흡수할 수 있는 구조를 갖췄다. 그 결과 A3, A5X, DGX 클라우드 같은 상품으로 더 빠르게 시장에 내놓을 수 있다.

이런 대규모 GPU 인프라는 결국 ‘공급 불확실성’을 줄이는 효과도 낸다. 기업들은 1년 뒤, 2년 뒤에도 특정 리전과 인스턴스를 충분한 규모로 확보할 수 있을지 걱정하는 경우가 많은데, 구글은 TPU와 함께 엔비디아를 기본 가속기 축으로 삼으면서 이런 우려를 덜어내려 하고 있다.

엔비디아가 강한 이유… TPU·ASIC보다 넓은 생태계

이번 협력의 의미는 단순히 구글이 엔비디아 GPU를 더 많이 쓴다는 데 있지 않다. 엔비디아가 가진 가장 큰 강점은 특정 작업에만 맞춘 전용 칩보다 훨씬 넓은 범용성과 생태계에 있다.

TPU나 기타 ASIC는 특정 워크로드에서 높은 성능을 낼 수 있지만, 적용 범위가 제한적이다. 반면 엔비디아는 CUDA를 중심으로 PyTorch, JAX 등 거의 모든 주요 AI 프레임워크에서 사실상의 표준 지위를 확보했다. 대형언어모델뿐 아니라 추천 시스템, 전통적 머신러닝, 과학 계산, 데이터 분석, 시뮬레이션, 디지털 트윈, 그래픽스까지 하나의 플랫폼에서 처리할 수 있다.

또 같은 CUDA 기반 환경을 온프레미스, 엣지, 그리고 구글 클라우드 같은 퍼블릭 클라우드에서 폭넓게 쓸 수 있다는 점도 크다. 독립 소프트웨어 기업과 대기업 고객이 특정 클라우드나 특정 칩에 묶이지 않고 서비스를 배포할 수 있기 때문이다. 구글이 엔비디아와 손잡는 배경에도 이런 ‘중립성’과 ‘이식성’이 자리하고 있다.

구글과 엔비디아, 서로 얻는 것

구글 클라우드 입장에서 이번 협력은 TPU 중심 전략의 한계를 보완한다. 자체 칩으로 차별화를 유지하면서도, 엔비디아와의 협력으로 오픈소스부터 상용 모델까지 가장 넓은 기업용 AI 생태계를 지원할 수 있게 된다. 고객 입장에서는 특정 독점 스택보다 선택지가 많아진다.

엔비디아에도 이득은 분명하다. 구글 클라우드는 세계에서 가장 눈에 띄는 멀티테넌트 AI 인프라 중 하나다. 엔비디아는 이를 통해 학습, 추론, 에이전트형 AI, 물리 AI 전반에서 자사 플랫폼을 더 강하게 노출할 수 있다. 동시에 버텍스 AI, GKE, 분산형 클라우드와의 깊은 통합을 통해 엔터프라이즈 수요에 더 밀착하게 된다.

시장 의미… AI 도입 장벽 낮추는 ‘참조 설계’

이번 발표의 핵심은 기술 과시보다 ‘도입 장벽 완화’에 있다. 지금 시장에서는 개념검증(PoC)에서 실제 서비스 전환으로 이어지지 못하는 사례가 적지 않다. 하지만 구글과 엔비디아가 제공하는 결합형 스택은 시제품 개발부터 대규모 운영까지 같은 축의 인프라를 쓰게 해, 조직 내 마찰을 줄이는 데 초점을 TP AI 유의사항 TokenPost.ai 기반 언어 모델을 사용하여 기사를 요약했습니다. 본문의 주요 내용이 제외되거나 사실과 다를 수 있습니다.