AI 에이전트 상위 10개는 출력 토큰 1개를 만들 때 이미 처리한 맥락을 약 93토큰 다시 읽었다.
Arena.ai는 10월 30일 공개한 분석에서 Agent Arena의 세션 2만6225건을 살폈다. 집계 기간은 2026년 9월 12일부터 10월 23일까지로, 13개 연구소의 에이전트 30종이 포함됐다.
‘상위 10개’는 10월 8일 순위표를 기준으로 정했다. 전체 분석 대상에서 앞서 본 맥락을 다시 읽은 토큰은 사용량의 86~96%, 에이전트가 생성한 출력은 1~2%였다.
AI 에이전트는 작업을 여러 단계로 나눠 수행한다. 다음 단계에서 앞선 대화와 작업 내용을 다시 입력받으면, 최종 답변을 만드는 토큰 외에도 맥락을 읽는 토큰이 쌓인다.
여기서 토큰은 AI 모델이 입력과 출력을 처리하는 단위다. 가상자산이나 블록체인 토큰의 사용량을 뜻하지 않는다.
◇ 작업 비용은 출력량만으로 설명되지 않는다
Arena.ai는 상위 10개 에이전트의 캐시 읽기분에 일반 입력 요금을 적용하면 통상적인 작업 비용이 3.6배가 된다고 추산했다.
계산에서는 세션별 토큰 사용량을 그대로 두고 캐시 읽기 요금만 일반 입력 요금으로 바꿨다. 연구소들이 공개한 가격표를 적용한 비용 비교다.
따라서 3.6배는 캐시 없이 작업을 다시 실행해 측정한 청구액이 아니다. 분석에 포함된 세션과 적용한 가격표를 바탕으로 한 추산치다.
◇ 캐시 요율과 조건도 비용에 반영해야
프롬프트 캐싱은 이전 요청에서 처리한 입력의 공통 부분을 다음 요청에서 재사용하는 방식이다. 오픈AI(OpenAI)는 프롬프트 캐싱 문서에서 지원 모델의 캐시 입력 요금이 일반 입력보다 최대 95% 낮을 수 있다고 설명했다.
공통 부분이 일치해야 캐시를 재사용할 수 있다. 같은 대화가 이어진다는 이유만으로 캐시 적중이 보장되지는 않는다.
오픈AI는 API 변경 기록에서 12시간 보관 옵션의 캐시 쓰기 요금이 일반 입력 요금의 2.5배라고 밝혔다. 캐시 읽기 할인만으로 전체 비용 절감액을 계산하기 어려운 이유다.
작업 비용을 비교하려면 새 입력, 캐시 읽기, 캐시 쓰기, 출력에 적용되는 요금을 작업 단위로 살펴야 한다. 출력량이나 캐시 적중률 하나만으로는 전체 비용을 알 수 없다.
본지는 앞서 Agent Arena 순위와 작업당 비용·출력량을 함께 다뤘다. 이번 분석은 작업 비용에서 입력을 다시 읽는 과정과 캐시 요율을 따로 살폈다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular