알트먼, AI 토큰 수는 기업 성과 척도로 한계…고객은 토큰 과금 선호

샘 알트먼(Sam Altman) 오픈AI(OpenAI) 최고경영자(CEO)는 AI 토큰 수가 기업이 인공지능에서 얻는 가치를 보여주는 기준으로는 적절하지 않다고 말했다.

치키 핀트(Cheeky Pint) 인터뷰에서 진행자 존 콜리슨(John Collison) 스트라이프(Stripe) 공동창업자는 토큰이 ‘사업 가치 관점에서는 가짜’라고 짚었다. 알트먼은 토큰은 “어떤 의미에서는 실재하지만 좋은 단위는 아니다”라고 답했다.

AI에서 토큰은 모델이 입력을 읽고 답을 만들 때 처리하는 작은 데이터 단위다. 가상자산 토큰과는 다른 개념으로, 토큰 수는 서비스 사용량과 비용을 측정하는 데 쓰인다.

그러나 사용량 수치만으로 기업이 어떤 결과를 얻었는지 알기는 어렵다는 게 알트먼의 설명이다. 같은 토큰 수를 쓰더라도 업무와 산출물은 다를 수 있다는 취지다.

성과를 기준으로 요금을 매기는 방식도 대안이 되기 어렵다고 봤다. 업무 목적마다 결과가 달라 공통 과금 단위로 삼기 어렵다는 이유에서다.

오픈AI는 차기 모델부터 토큰별 요금을 없애고 이용자가 요청을 보내면 가격을 제시하는 방안을 거의 채택할 뻔했다. 알트먼은 고객 반응이 매우 부정적이어서 추진하지 않았다고 말했다.

고객들은 청구액의 기준을 알아야 한다는 입장을 보였다. 알트먼은 일부 고객에게 같은 결과를 받더라도 일정한 토큰 수로 청구하면 더 낼 의향이 있는지 물었고, 토큰 수를 부풀리더라도 비용 기준을 알 수 있는 편을 선호한다는 답을 들었다고 전했다.

그는 이용자들이 결과만 받고 금액을 청구받는 방식보다 CPU 사용시간처럼 어떤 단위에 비용을 냈는지 아는 방식을 선호할 수 있다고 덧붙였다. 비용이 더 들더라도 지출의 근거를 확인하고 싶어 한다는 설명이다.

현재 요금 구조를 이해하는 데도 부담이 따른다고 알트먼은 말했다. 소형 모델과 대형 모델의 토큰 단가뿐 아니라 추론 과정의 길이까지 따져야 해 이용자에게 불필요한 계산 부담을 준다는 것이다.

콜리슨은 반도체 공정의 나노미터 표기를 예로 들며 ‘지능 환산 토큰’ 같은 새 단위를 만들지 물었다. 알트먼은 나노미터가 실제 공정 크기와 관계가 적다는 점을 들며 그런 단위를 만들고 싶지 않다고 답했다.

오픈AI 내부의 컴퓨팅 자원 배분에서도 사용량 자체를 성과 기준으로 삼지 않는다고 알트먼은 말했다. 직원들에게 자원 사용 재량을 폭넓게 주지만 많이 썼다는 이유만으로 보상하지 않는다는 설명이다.

알트먼은 토큰 사용량 순위표를 운영하지 않으며, 사용량 순위가 높은 점은 승진에서 오히려 약간 불리하게 작용한다고 말했다. 다만 중요한 일을 했다는 점을 보여주면 자원을 많이 쓴 데 대해 인정한다고 덧붙였다.

본지는 같은 인터뷰에서 알트먼의 나비에-스토크스 방정식 증명 비용 추정 발언을 앞서 전했다. 이번에는 토큰이 사용량을 세는 기준으로 쓰이더라도 업무 성과의 척도가 되기는 어렵다는 그의 설명을 다뤘다.