TPUv7 FP8 효율, GB300의 1.85배…FP4선 뒤져

구글(Google)의 TPUv7과 엔비디아($NVDA)의 GB300은 AI 에이전트 추론 시험에서 비용 효율 우위가 비교 조건에 따라 엇갈렸다. 같은 FP8 정밀도끼리 비교할 때는 TPUv7이 앞섰지만, GB300의 FP4 결과와 비교하면 우열이 뒤집혔다.

세미애널리시스(SemiAnalysis)는 2026년 10월 19일 공개한 InferenceX 비교표에서 Qwen3.5-397B를 사용자당 초당 200토큰 처리 조건으로 비교했다. TPUv7의 달러당 토큰 처리량은 FP8 대 FP8 비교에서 GB300의 1.85배였다. 외부 고객 총소유비용(TCO)을 적용한 값이며, 구글 내부 비용 기준으로는 2.17배였다.

같은 비교 지점에서 TPUv7 FP8을 GB300 FP4와 비교하면 상대 처리량은 외부 고객 비용 기준 0.54배, 구글 내부 비용 기준 0.64배였다. 이 조건에서는 GB300의 비용 효율이 더 높았다.

TCO는 세미애널리시스가 자체 모델로 추산한 장치의 소유·운영 비용이다. 달러당 토큰 처리량은 공개 클라우드 요금이나 개별 고객의 실제 지출액을 뜻하지 않는다.

◇ 에이전트 작업과 측정 조건

AgentX는 긴 대화와 긴 문맥, 접두부 캐싱, 하위 에이전트 실행을 반영한 코딩 에이전트 추론 시험이다. 프롬프트 문구는 합성됐으며 실제 이용자의 비공개 대화를 재생하지 않는다.

초기 Qwen3.5 비교에서 TPUv7은 vLLM을 이용한 4칩 단일 호스트로 작동했고, GB300은 4~32개 GPU를 사용했다. 두 장치의 서빙 소프트웨어도 달랐으며, 비교표 일부 지점은 측정값 사이를 계산해 채운 보간값이다.

FP8과 FP4는 모델 계산에 쓰는 숫자의 정밀도 형식이다. 세미애널리시스는 두 형식의 답변 정확도 차이를 평가하지 않았다고 밝혔다. 따라서 처리량 수치만으로 답변 품질까지 같다고 판단할 수 없다.

세미애널리시스는 10월 16일 엑스(X)에 올린 첫 TPUv7 제출 결과가 외부 고객 비용 기준으로 GB300 NVL72 FP4보다 성능 대비 비용 효율이 1.42배 높았다고 주장했다. 이 수치는 초기 제출 결과로, 이후 비교표의 FP8 대 FP8 수치와 측정 조건이 다르다.

세미애널리시스는 11월 5일 후속 분석에서 AgentX 시험 대상을 네 모델로 넓혔다. Qwen3.5에 llm-d 기반 분리형 서빙을 적용한 TPUv7은 GB300 FP8을 모든 응답 속도 구간에서 앞섰다고 밝혔다.

후속 분석은 GB300 FP4와의 결과를 처리량과 응답시간 지표로 나눠 설명했다. 토큰 생성 구간의 응답 속도와 요청 시작부터 끝까지 걸린 시간은 서로 다른 측정축이므로, 한 지표의 우위를 전체 추론 성능으로 일반화하기 어렵다.

◇ 하드웨어와 서빙 소프트웨어

구글은 10월 20일 TPU용 네이티브 PyTorch 백엔드를 발표했다. vLLM·SGLang과 함께 쓸 수 있도록 Inferact·RadixArk와 공동 개발했으며, 접두부 캐싱과 호스트 메모리로의 데이터 이동, 분리형 서빙을 지원한다고 설명했다.

초기 비교에서 두 장치의 서빙 소프트웨어와 구성이 달랐고, 구글은 TPU용 실행 도구를 추가로 공개했다. 이번 결과는 칩뿐 아니라 모델을 실행하는 소프트웨어와 운영 구성도 비교에 영향을 줄 수 있음을 보여준다.

구글은 2025년 4월 7세대 TPU인 Ironwood를 공개하며 대규모 AI 작업용으로 소개했다. 이번 비교는 해당 칩을 AI 에이전트 추론 환경에서 시험한 사례다.

앤스로픽(Anthropic)은 2025년 10월 23일 구글 클라우드 기술 사용을 확대하고 최대 100만 개 TPU에 접근할 계획이라고 밝혔다. 발표문은 특정 TPU 세대를 지정하지 않았다.

오라클(Oracle)은 2026년 10월 27일 발표문에서 구글 TPU를 오라클 클라우드 인프라에서 2027년부터 제공할 계획이라고 밝혔다.