AI 에이전트가 쓰는 토큰량이 지난 2월 이후 14배 늘어 인간 사용자 대비 약 5배에 이른 것으로 나타났다. 생성형 AI 사용이 단순 대화에서 작업 실행형 에이전트로 옮겨가면서 토큰 사용량이 AI 인프라 비용을 가르는 핵심 지표로 떠오르고 있다.
안드리센호로위츠는 21일 ‘Charts of the Week’에서 오픈라우터(OpenRouter) 데이터를 토대로 이같이 밝혔다. 토큰은 AI 모델이 읽고 생성하는 텍스트 단위로, 모델 API 과금과 추론 인프라 사용량을 재는 기본 단위다.
인간 사용자는 보통 질문과 답변을 오가는 방식으로 모델을 쓴다. 반면 AI 에이전트는 목표를 달성할 때까지 읽기, 쓰기, 실행을 반복한다. 이 과정에서 같은 문맥을 다시 불러오고 작업 상태를 이어 붙이며 하위 작업을 새로 호출해 토큰 소비가 커진다.
이번 수치는 전체 AI 시장의 절대 규모가 아니라 오픈라우터에서 관측된 흐름이다. 다만 에이전트형 이용이 늘면서 비용 관리도 플랫폼의 주요 과제로 떠올랐고, 본지는 앞서 오픈라우터가 요청을 부서와 작업 유형, 에이전트 복잡도, 비용 센터 등으로 자동 분류하는 기능을 내놨다고 보도했다.
국내에서도 AI 에이전트 확산은 인프라 비용과 보안, 데이터 통제 문제와 맞물린다. 본지는 앞서 라이너와 리벨리온이 국산 NPU 기반 AI 풀스택 설루션 사업을 추진한다고 보도했다. 양사는 AI 에이전트 기술과 추론용 반도체 인프라를 결합해 운영 비용을 낮추는 방안을 모색한다고 밝혔다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사