입력 100만 토큰당 13원…베이스텐, 의사결정 AI 모델 공개

베이스텐(Baseten)이 29일 20억 파라미터 의사결정 인공지능(AI) 모델 joey-1을 공개했다. API 입력 요금은 100만 토큰당 0.01달러(약 13원)다.

베이스텐은 공식 발표에서 자체 연구조직 베이스랩스(Base Labs)가 Qwen3.5-2B를 추가 학습해 joey-1을 개발했다고 밝혔다. 모델은 텍스트와 이미지를 입력받는다.

질문 형식은 선택형, 예·아니오형, 순서형 점수형으로 나뉜다. 모델은 정해진 답과 각 답의 확률을 반환한다.

베이스텐은 고객 문의를 담당 부서에 배정하거나 스팸 여부를 판단하는 작업을 활용 사례로 들었다. 지원 요청 분류와 유해 프롬프트 차단도 제시했다.

정해진 답이 필요한 작업에서 자유 형식 문장을 생성한 뒤 애플리케이션이 다시 파싱하는 과정을 줄이는 방식이다. 답의 범위가 미리 정해진 작업에서 모델 출력을 바로 활용할 수 있도록 설계됐다.

베이스텐 모델 페이지에는 캐시된 입력 토큰과 출력 토큰의 표시 가격이 각각 0달러로 나와 있다. 0.01달러는 모든 토큰에 적용되는 단가가 아니라 입력 토큰 요금이다.

회사는 월 1000만 건의 고객 지원 요청을 건당 약 500토큰씩 분류하는 사례를 들었다. 총 50억 입력 토큰을 처리할 때 joey-1 비용은 월 50달러(약 6만7000원), 같은 제품군의 mammoth-1은 500달러(약 67만원)라는 계산이다. 회사가 제시한 사용량 가정에 따른 비용 예시다.

속도 수치도 회사 측 측정 결과다. 베이스텐은 평균 2000토큰 요청을 처리할 때 종단 간 지연시간의 중앙값이 20밀리초라고 밝혔다. 90억 파라미터 모델 elephant-1의 49밀리초보다 약 2.5배 빠르다는 설명이다.

허깅페이스(Hugging Face)에 공개된 joey-1 모델 카드에는 Jev Decision Index 0.4 공개 분할 점수가 63.30으로 기재됐다. 230개 모델 가운데 37위이며, 40억 파라미터 미만 모델 중 가장 높은 점수라는 게 카드의 설명이다.

같은 표에서 elephant-1은 72.24점을 받았다. 베이스텐은 자체 시험에서 joey-1이 30억 파라미터 이하 의사결정 모델 중 가장 강하다고 주장했지만, 발표 당시 세부 시험 결과는 공개하지 않았다.

모델 규모 표기에는 차이가 있다. 베이스텐의 제품 설명과 모델 카드는 joey-1을 20억 파라미터 모델로 소개하지만, 허깅페이스 저장소 파일 메타데이터에는 30억 파라미터로 표시돼 있다.

joey-1은 elephant-1, 270억 파라미터 모델 mammoth-1과 같은 API를 쓴다. 베이스텐은 joey-1을 처리량이 많고 지연시간에 민감한 호출에 쓰고, joey-1이 불확실한 경우 elephant-1이나 mammoth-1으로 넘기는 방안을 제시했다.

joey-1은 선택지와 답변 확률을 반환하는 모델로, 정해진 결과를 다루는 AI 도구의 사례다.

본지는 앞서 AI 모델의 토큰 가격 하락과 GPU 임대료 상승이 동시에 나타난 흐름을 보도했다. joey-1의 가격은 특정 모델의 입력 단가로, AI 서비스 전체 비용이나 업계 수요를 나타내는 수치는 아니다.

joey-1의 모델 가중치는 MIT 라이선스로 공개됐다. 베이스텐은 API에서 1만6000토큰, 전용 배포 환경에서 최대 26만2000토큰의 문맥 길이를 지원한다고 설명했다.

모델 카드에는 학습 길이 제한을 넘는 요청은 내용을 잘라 처리하지 않고 거부한다고 적혀 있다. 이용자는 지원 문맥 길이와 입력 제한을 확인해 모델을 적용해야 한다.