기업들이 직원에게 폭넓게 허용했던 인공지능(AI) 사용에 한도를 두고 업무별로 모델을 나눠 배정하기 시작했다. 챗봇과 코딩 에이전트의 토큰 사용량이 늘면서 무제한 이용보다 비용 통제가 경영 과제로 떠올랐다.
포천(Fortune)은 12일 최고정보책임자(CIO)와 최고기술책임자(CTO)들이 일부 직원의 AI 사용량을 제한하고 더 작고 저렴한 모델을 활용하도록 교육 체계를 바꾸고 있다고 보도했다. 이번 움직임은 2026년 8월 12일 기준 기업들의 AI 운영 정책을 반영한다.
샘사라(Samsara)와 시그나(Cigna), 얌브랜즈(Yum Brands), 컴퍼스(Compass) 등은 고가 모델을 기본값으로 제공하던 방식에서 벗어나 업무 성격에 맞춰 모델을 구분하는 방향으로 움직이고 있다. 각 기업의 구체적인 내부 수치와 운영 방식은 포천 취재를 통해 전해졌다.
가트너(Gartner)는 2026년 전 세계 AI 지출이 2조5200억 달러(약 3560조7600억원)로 전년보다 44% 늘어날 것으로 전망했다. AI 인프라 투자는 4010억 달러(약 566조6130억원) 증가할 것으로 내다봤다.
AI 인프라는 서비스를 구동하는 데이터센터와 컴퓨팅 장비, 네트워크 등 기반 자원을 뜻한다. 기업의 AI 이용이 늘면 모델 사용료뿐 아니라 서버와 저장장치, 전력 비용도 함께 커지는 구조다.
이 같은 부담은 본지가 앞서 전한 빅테크의 AI 투자 확대와 현금흐름 압박과도 맞닿아 있다. AI 도입 범위가 넓어질수록 기업 내부에서는 실제 사용량과 생산성 개선 효과를 함께 따져야 할 필요성이 커진다.
비용 압박은 긴 문맥과 반복 호출을 사용하는 코딩 에이전트에서 두드러진다. 가트너는 6월 24일 AI 코딩 비용이 2028년 평균 개발자 연봉을 넘어설 수 있다고 전망했다.
대형언어모델(LLM)은 입력과 출력을 토큰 단위로 처리한다. 에이전트형 작업은 여러 단계의 호출과 반복 실행을 거치기 때문에 같은 업무라도 토큰 소비가 늘어날 수 있다.
과금 구조가 좌석 기반에서 사용량 기반으로 옮겨가는 점도 기업의 비용 예측을 어렵게 한다. 가트너는 대응책으로 △토큰 한도 △모델 라우팅 △컨텍스트 엔지니어링 △사용량 모니터링을 제시했다.
도큐사인(Docusign)은 1000명 이상인 자사 엔지니어 전원이 AI 코딩 도구를 사용하고 있으며 새 코드의 약 75%가 AI 보조로 작성된다고 밝혔다. 모든 코드는 인간 엔지니어의 검토와 승인을 거쳐 배포된다.
AI 도구를 조직 전체로 확산한 기업일수록 사용량을 추적하고 업무별 효율을 구분할 필요가 커진다. 본지는 앞서 메타가 직원별 AI 토큰 사용량과 지출을 추적하는 체계를 준비하는 움직임을 전했다.
404미디어(404 Media)는 7월 2일 아마존($AMZN)과 어도비(Adobe), 아틀라시안(Atlassian), 씨티(Citi) 등에서 직원의 고가 AI 모델 접근을 제한하거나 저가 모델 사용을 유도하는 움직임이 나타났다고 보도했다. 한 기업의 월간 AI 지출은 1500만 달러(약 212억원)를 넘는 수준으로 세 배 증가한 것으로 전해졌다.
벤더도 비용 관리 기능을 강화하고 있다. 앤트로픽(Anthropic)은 7월 2일 클로드 엔터프라이즈(Claude Enterprise)에 관리자 분석과 모델별 권한, 지출 알림 기능을 추가했다고 밝혔다. 관리자는 조직과 그룹, 사용자별 비용을 확인하고 기본 모델과 이용 가능한 모델을 조정할 수 있다.
테슬라($TSLA)는 7월부터 직원 1명당 주 200달러(약 28만원)의 AI 지출 한도를 도입한 것으로 보도됐다. 고가 모델의 이용을 개별 직원의 선택에 맡기던 방식이 조직 차원의 예산 규칙으로 바뀐 사례다.
기업들은 AI 도입을 줄이기보다 단순 업무에는 작은 모델을, 복잡한 분석과 코딩에는 고성능 모델을 배정하는 방식으로 운영 체계를 바꾸고 있다. AI 활용 확대가 실제 생산성 개선과 비용 절감으로 이어지는지는 기업별 사용량과 성과 지표를 통해 확인될 전망이다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사