구글의 자사 AI 모델 API가 분당 거의 320억 개의 토큰을 처리한다. 순다르 피차이는 처리량이 전분기보다 40%, 1년 전보다 4배 이상 늘었다고 밝혔다.
순다르 피차이(Sundar Pichai) 구글·알파벳($GOOGL) CEO는 28일(현지시간) 3분기 실적 발표 발언록에서 “자사 모델 API는 분당 거의 320억 개의 토큰을 처리한다”고 말했다. 3분기 실적 발표 발언록에 담긴 수치는 구글 자사 모델 API에 관한 것이다.
피차이는 같은 발언록에서 API 처리량이 전분기보다 40% 늘었고 1년 전과 비교하면 4배 이상이라고 설명했다. 이는 검색이나 제미나이 앱 등 구글 서비스 전체의 이용량을 합산한 수치로 제시된 것이 아니다.
구글은 2분기 실적 발표 발언록에서 모델 API 처리량을 분당 약 220억 토큰으로 제시했다. 2분기 실적 발표 발언록에도 이 수치가 담겼으며, 본지는 앞선 실적 발표에서 공개된 구글의 AI 이용 지표를 다룬 바 있다.
두 발표의 수치는 각각 ‘약 220억’, ‘거의 320억’으로 표현됐다. 정확한 집계값이 공개되지 않은 만큼 두 수치만으로 증가율을 다시 계산하기보다 피차이가 밝힌 전분기 대비 40%를 기준으로 봐야 한다.
토큰은 AI 모델이 입력과 출력을 처리할 때 쓰는 데이터 단위다. 구글의 제미나이 API 안내는 글자 하나나 단어 전체, 단어 일부가 각각 토큰이 될 수 있다고 설명한다.
이 문맥의 토큰은 가상자산이나 블록체인상의 거래량과 다른 개념이다. 따라서 API 처리량만으로 가상자산 시장의 수요 변화를 판단할 수는 없다.
API 처리량과 앱 이용자 수도 구분해야 한다. 본지는 앞서 제미나이 앱의 월간 활성 이용자가 10억 명을 넘었다고 보도했다. 월간 활성 이용자는 앱 이용자 규모를 나타내고, 이번 수치는 자사 모델 API가 처리하는 데이터의 양을 가리킨다.
처리량 증가가 API 매출 증가를 같은 비율로 뜻하는 것도 아니다. 피차이의 이번 발표에는 API 처리량이 매출에 기여한 정도가 별도로 제시되지 않았다.
피차이는 장기 수요에 대응하기 위해 클라우드 용량을 추가로 늘리는 작업을 진행 중이라고 밝혔다. TPU 시스템에 대한 고객 수요도 강하다고 설명했다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular