초당 600만건 처리 구글 추론 엔진 공개…서버서 파이썬 제거

구글(Google)이 AI 모델 추론을 파이썬 실행 환경 없이 처리하는 XLA Serving Engine(XSE)을 오픈소스로 공개했다. 모델 개발 단계에서는 파이썬을 쓸 수 있지만, 이용자 요청을 처리하는 서비스에는 C++ 런타임을 적용하는 구조다.

구글은 11월 5일 공식 블로그에서 XSE를 아파치 2.0 라이선스로 공개했다고 밝혔다. XSE는 OpenXLA 생태계에서 모델을 내보내고 추론하는 데 쓰는 도구다.

XSE는 모델 내보내기 도구와 추론 런타임으로 구성된다. 개발자는 JAX나 파이토치(PyTorch)로 만든 모델을 XLA SavedModel 형식으로 내보내고, C++ 런타임은 이 모델을 불러와 실행한다.

XLA SavedModel에는 모델 계산 과정을 표현한 StableHLO가 담긴다. 구글은 모델 가중치를 Orbax 체크포인트에 저장한다고 설명했다.

OpenXLA는 머신러닝 모델을 여러 연산 장비에서 실행하도록 컴파일하는 생태계다. XLA 컴파일러가 모델 계산을 장비에 맞게 준비하고, XSE는 준비된 모델을 서비스 요청에 응답하는 실행 환경에 연결한다.

구글은 2025년부터 XSE의 핵심 구성 요소를 내부 서비스 인프라에 배치해 왔다. 구글이 제시한 적용 사례에는 유튜브 쇼츠(YouTube Shorts), 구글 광고(Google Ads), 검색 서비스와 제미나이 옴니(Gemini Omni)의 일부가 포함됐다.

구글은 XSE가 내부에서 초당 600만건이 넘는 요청을 처리한다고 밝혔다. 이는 구글의 내부 운영 규모를 나타내는 수치로, 외부 환경에서도 같은 처리량을 낸다는 뜻은 아니다.

성능 비교는 짧은 요청을 대상으로 한 구글 자체 시험 결과다. XSE 처리량은 구글이 구축한 최적화 파이썬 서버보다 2~5배 높았고, 기본 구성의 파이썬 서버와 비교하면 8~36배였다.

구글은 예측 한 건에 쓰는 CPU 시간이 파이썬 구현보다 30~70% 적고, 메모리 사용량은 약 4분의 1이라고 밝혔다. 이 수치도 구글이 제시한 시험 결과다.

XSE의 주요 용도는 추천 시스템과 영상 인식처럼 짧은 요청을 빠르게 처리하는 작업이다. 구글은 요청별 지연 시간을 낮추는 데 초점을 둔 경량 추론 엔진으로 설명했다.

긴 문맥을 다루며 문장을 연속 생성하는 대형 자기회귀 언어모델은 XSE의 주된 대상이 아니다. 구글은 이런 모델에는 LLM에 특화된 메모리 관리 기능을 갖춘 vLLM이나 SGLang 같은 도구를 권했다.

OpenXLA 공개 저장소는 한 번 내보낸 모델 묶음을 CPU, 엔비디아($NVDA) GPU, 구글 클라우드 TPU에서 실행할 수 있다고 안내한다. 개발자는 모델을 내보낼 때 실행할 장비에 맞는 계산 정보를 함께 담을 수 있다.

XSE는 독립형 추론 엔진으로 배포하거나 더 복잡한 서빙 시스템에 연결해 사용할 수 있다. 서비스 요청을 처리하는 실행 경로에서 파이썬 인터프리터를 제외하도록 설계됐다.

아파치 2.0은 상업적 이용과 수정을 허용하는 오픈소스 라이선스다. 구글은 XSE의 소스코드와 사용 안내를 공개 저장소에 올렸다.

구글은 후속 작업으로 TorchTPU 연동을 통한 파이토치 모델의 TPU 내보내기 지원을 계획하고 있다. 오프라인 컴파일 기능은 먼저 내부 이용자에게 적용한 뒤 외부에 공개할 예정이며, C++ 기반 데이터 전처리기도 제공한다고 밝혔다.