구글 TPU 학습 조율 소프트웨어 공개…엔비디아 GPU도 제공

구글은 TPU 클러스터의 학습 작업을 하나의 프로그램에서 조율하는 소프트웨어 ‘패스웨이즈 온 구글 클라우드’의 정식 출시를 11월 9일 발표했다. 이번 발표의 대상은 신형 반도체가 아니라 인공지능(AI) 모델 학습을 관리하는 실행 시스템이다.

구글 개발자 블로그는 패스웨이즈(Pathways)가 제미나이(Gemini) 등 구글 대형 모델의 훈련에 사용돼 온 분산 실행 시스템이라고 설명했다. 하나의 JAX 클라이언트가 계산 작업 전체를 정의하면 시스템이 작업을 가속기에 배치하고 데이터 이동과 실행 순서를 조율한다.

구글 클라우드의 패스웨이즈 문서는 단일 클라이언트가 수천~수만 개 가속기의 작업을 조율할 수 있다고 설명한다. 작업별 요구에 따라 연산 자원을 배분해 여러 TPU 그룹에서 서로 다른 계산을 수행하는 구조다.

기존 단일 프로그램 다중 데이터(SPMD) 방식에서는 각 가속기가 같은 프로그램을 동기화해 실행한다. 구글은 강화학습 중 샘플링·보상 평가·모델 학습이 서로 다른 프로그램으로 작동하면 장치가 쉬는 구간이 생길 수 있다고 설명했다. 패스웨이즈는 작업 간 의존 관계를 데이터 흐름으로 정의하고 필요한 계산 자원을 배분한다.

정식 출시 시점은 공식 기록에 차이가 있다. 개발자 블로그는 11월 9일 정식 출시를 발표했지만, 구글 클라우드 릴리스 노트는 2026년 3월 2일 버전 0.1.0의 정식 출시를 기록했다. 11월 발표는 별도 버전이나 기능을 명시하지 않았다.

◇ 새 칩이 아닌 실행 소프트웨어

구글은 4월 22일 학습용 TPU 8t와 추론용 TPU 8i를 공개했다. 당시 구글 클라우드 발표에 따르면 TPU 8t 슈퍼팟 한 대에는 칩 최대 9600개와 2페타바이트의 공유 메모리가 들어간다.

구글은 두 제품을 클라우드 고객에게 곧 제공하겠다고 밝혔지만 구체적인 이용 시작일은 제시하지 않았다. 11월 9일 패스웨이즈 발표는 이 TPU 하드웨어 공개와 별개의 소프트웨어 소식이다.

구글은 파이토치(PyTorch) 모델을 TPU에서 실행하도록 지원하는 TorchTPU도 추진하고 있다.

구글은 TPU를 칩 단품이 아니라 컴퓨팅·저장장치·네트워킹·소프트웨어를 결합한 시스템으로 설명한다. TPU 공급도 자사 클라우드에 한정하지 않고 고객 데이터센터로 확대하고 있다.

◇ TPU와 엔비디아 GPU를 함께 제공

구글 클라우드와 오라클은 2027년부터 오라클 클라우드 인프라(OCI)에 구글 TPU 용량을 배치할 계획이라고 발표했다. 본지도 OCI의 TPU 도입 계획을 보도했다.

구글 클라우드는 엔비디아(NVIDIA·$NVDA) GPU도 제공한다. 엔비디아는 2027회계연도 2분기 실적 발표에서 데이터센터 매출이 전년 동기보다 117% 늘었다고 밝혔다. 엔비디아는 구글 클라우드를 차세대 베라 루빈(Vera Rubin) 플랫폼 파트너로도 명시했다.

알파벳(Alphabet·$GOOG·$GOOGL)은 10월 28일 3분기 실적 발표에서 구글 클라우드 매출이 전년 동기보다 103% 늘었고 TPU 시스템 판매도 성장에 기여했다고 밝혔다. 알파벳의 실적 발표는 TPU 사업 확대와 클라우드 매출 증가를 함께 다뤘다.

아나트 아슈케나지(Anat Ashkenazi) 알파벳 CFO는 10월 28일 실적 발표에서 “TPU 시스템 판매가 4분기에도 확대되고 2027년에는 매출이 의미 있게 늘어날 것으로 예상한다”고 말했다. 회사는 시스템 재고 구축이 현금흐름에 부담을 줬다고도 밝혔다.