AI 비용에 숨은 변수 ‘토크나이저’… GPT가 클로드보다 저렴한 이유

AI 모델 비용을 평가할 때 종종 간과되는 ‘토크나이저 효율성’이 기업 환경에서의 실제 배포 비용에 결정적인 영향을 미칠 수 있다는 분석이 나왔다. 앤트로픽의 ‘클로드 3.5 소네트’ 모델은 오픈AI의 ‘GPT-4o’보다 입력 토큰 단가가 40% 저렴하지만, 최종 사용 비용은 최대 30% 더 높을 수 있다는 실험 결과가 이를 뒷받침하고 있다.

토크나이저는 주어진 텍스트를 어떻게 쪼갤지 결정하는 알고리즘으로, 각 모델마다 고유한 방식을 채택하고 있다. 문제는 같은 입력문장이라도 어떤 토크나이저를 쓰느냐에 따라 생성되는 토큰 수에 큰 차이가 발생한다는 것이다. GPT-4o와 클로드 3.5 소네트 모두 출력 토큰의 가격은 동일하지만, 클로드의 토크나이저는 같은 입력을 더 많은 토큰으로 분해함으로써 결과적으로 비용을 증가시키는 경향이 있다.

실제 실험에 따르면 클로드 모델은 일반 영어 기사에서 16%, 수학 문제에서 21%, 파이썬 코드의 경우 30%나 더 많은 토큰을 생성했다. 이는 클로드의 토크나이저가 특수문자나 구조적 요소가 많은 콘텐츠에서 더욱 세분화된 단위로 토큰을 나누기 때문이다. 반면 GPT 모델은 보다 압축적인 토큰화를 적용해 같은 정보를 더 적은 토큰 수로 처리한다.

비용 상승만이 문제가 아니다. 클로드 모델은 20만 토큰의 맥락기억 기준을 광고하고 있지만, 실제로는 토큰이 많아지는 구조 탓에 실질적으로 사용할 수 있는 맥락 공간이 GPT가 제공하는 12만8천 토큰 수준보다도 작아질 수 있다는 지적도 제기되고 있다.

오픈AI는 바이트쌍인코딩(Byte Pair Encoding)을 기반으로 한 ‘o200k_base’ 토크나이저를 사용하고 있으며, 이는 고빈도 문자쌍을 결합해 효율적으로 토큰을 구성한다. 반면 앤트로픽의 토크나이저 관련 사양은 공개되어 있지 않으며, 토큰 종류도 GPT보다 적은 6만5천 개 수준이라는 보고가 있다. 따라서 비용 산정이나 입력 최적화 측면에서 GPT 모델이 더 높은 예측 가능성을 제공하는 것으로 평가되고 있다.

업계 전문가들은 이러한 토크나이저 효율성 차이를 고려해 모델을 선택해야 한다고 조언한다. 특히 코드나 수학 등 기술적 콘텐츠가 많은 환경이라면 클로드 사용 시 예상을 뛰어넘는 비용이 발생할 수 있음을 경계해야 한다는 것이다. 자연어 중심의 일반적인 텍스트 처리 과제에서는 이런 차이가 다소 덜하지만, 점점 높은 정확도와 효율성이 요구되는 기업용 AI 환경에서는 토크나이저 구조까지 면밀히 평가할 필요가 있다.

한편 앤트로픽 측은 관련 분석에 대한 코멘트를 거부해 공식 입장은 전달되지 않았다. 업계에서는 차후 API 개선이나 토크나이저 구조 공개 등을 통해 이 같은 불확실성이 해소될 수 있을지 주목하고 있다.