智谱, GLM-5.3-FlashX 출시…최대 200 tokens/s

智谱가 국산 칩 10만 장 기반의 최대 200 tokens/s 추론 속도를 내세운 GLM-5.3-FlashX를 출시했다. API와 체험센터 운영도 시작했다.

智谱는 GLM-5.3-FlashX가 국산 칩 10만 장에서 제공하는 추론 연산력을 기반으로 속도를 높였다고 밝혔다. 회사는 인프라와 추론 최적화 투자도 추가했다고 PANews는 보도했다.

이번 출시는 모델 자체의 성능뿐 아니라 실제 서비스 운영에 필요한 추론 인프라를 함께 내세운 사례다. 추론은 입력을 바탕으로 모델이 응답을 생성하는 과정이며, 처리 속도는 모델 구조와 하드웨어 구성, 소프트웨어 최적화의 영향을 받는다.

GLM-5.3-FlashX의 기반 모델인 GLM-5.3-Flash는 8월 26일 공개됐다. 총 매개변수는 3200억 개, 한 번의 추론 과정에서 활성화되는 매개변수는 180억 개이며 100만 tokens의 컨텍스트 창을 지원한다. 이 사양과 공개 시점은 모델 문서에도 기재돼 있다.

총 매개변수는 모델이 보유한 전체 학습 가중치 규모를 뜻한다. 활성 매개변수는 입력을 처리할 때 실제 계산에 참여하는 부분으로, 전체 규모를 유지하면서도 한 번의 요청에 필요한 연산량을 줄이는 데 활용된다.

100만 tokens 컨텍스트는 한 번의 요청에서 모델이 처리할 수 있는 입력과 대화 기록의 범위를 나타낸다. 다만 컨텍스트 창의 크기와 실제 응답 속도는 서로 다른 지표이므로, 긴 입력을 처리할 때도 최대 속도가 동일하게 유지된다고 볼 수는 없다.

智谱는 GLM-5.3-FlashX의 최고 추론 속도를 200 tokens/s로 제시했다. 이는 회사가 제시한 최대치이며, 일반 사용자가 경험하는 평균 속도는 요청 유형과 운영 환경에 따라 달라질 수 있다.

회사는 이번 발표에서 평균 처리 속도, 칩 제조사, 서비스 가격, 모델별 성능 비교 수치는 공개하지 않았다. 따라서 200 tokens/s가 어떤 입력 길이와 하드웨어 구성에서 측정됐는지는 추가 운영 자료를 통해 확인할 필요가 있다.

GLM-5.3-Flash는 공개 전 'Ox Alpha'라는 이름으로 익명 테스트를 진행했다. 이후 정식 모델명이 공개되면서 智谱의 GLM-5 계열 모델로 확인됐고, 이번 FlashX 출시는 해당 모델 계열을 API와 체험 서비스에서 활용하는 단계로 이어졌다.

API는 외부 서비스나 개발자가 모델 기능을 호출할 수 있도록 하는 접속 방식이다. 체험센터는 사용자가 별도 서비스 구축 없이 모델의 응답을 시험할 수 있는 경로로, 두 기능의 운영 시작은 모델 공개와 실제 사용 환경을 함께 제공하려는 조치로 볼 수 있다.

GLM-5.3-FlashX의 실제 성능은 향후 공개될 세부 벤치마크와 API 운영 자료에서 비교할 수 있다. 특히 회사가 제시한 최대 속도가 어떤 조건에서 측정됐는지와 평균 처리 속도가 함께 공개될지가 확인 지점이다.