AI 확산에 핀옵스도 재정의… ‘토큰 비용’ 밖 지출까지 추적한다

기업들의 생성형 인공지능 도입이 빨라지면서 기존 ‘클라우드 비용 관리’ 방식만으로는 지출을 통제하기 어려워졌다는 진단이 나왔다. AI 워크로드 구조가 복잡해지면서 표면적인 사용료만 봐서는 실제 비용을 제대로 설명하기 어렵고, 이에 따라 ‘핀옵스(FinOps)’도 더 넓은 기술 스택 전반을 다루는 체계로 진화하고 있다는 분석이다.

구글클라우드의 프라비르 굽타 부사장 겸 총괄매니저는 최근 핀옵스 X 2026 행사에서 “최고경영자들은 조직 전반에 생성형 AI 혁신을 더 빠르게 요구하고 있다”며 “이 과정에서 핀옵스는 적절한 ‘가드레일’을 통해 비용을 더 정확히 추정하고, 왜 그런 비용이 발생했는지 설명할 수 있게 해주는 역할을 해야 한다”고 말했다.

시장조사업계와 업계 보고서에 따르면 이런 변화는 이미 숫자로 확인된다. ‘스테이트 오브 핀옵스 2026’ 보고서에서는 실무자의 98%가 현재 AI 지출까지 관리하고 있다고 답했다. 다만 상당수 기업은 여전히 비용을 세부 항목별로 들여다볼 수 있는 ‘비용 세분화’ 역량이 부족해, AI 운영을 효과적으로 통제하지 못하는 상황으로 평가됐다.

‘토큰 비용’만 보면 착시… 실제 AI 지출은 훨씬 넓다

현재 많은 기업은 AI 비용을 입력 토큰과 출력 토큰 기준으로 계산한다. 하지만 굽타는 이 방식이 전체 그림의 일부만 보여준다고 짚었다. AI 에이전트가 실제 업무를 처리하는 과정에서는 가상머신을 추가로 띄우거나, 키-값 캐시 저장소를 쓰고, 검색증강생성(RAG) 파이프라인을 호출하는 등 토큰 바깥의 비용이 함께 발생할 수 있기 때문이다.

그는 이를 ‘빙산’에 비유했다. 수면 위로 드러나는 토큰 비용은 크지만, 실제로는 그 아래에 있는 연산 자원과 저장소, 보조 시스템 비용이 더 큰 부담이 될 수 있다는 의미다. 결국 핀옵스 AI의 핵심은 단순한 ‘토크노믹스’가 아니라, AI 서비스가 작동하는 전체 구조를 추적하고 설명하는 데 있다는 설명이다.

이 지점은 최근 기업들의 AI 도입 방식과도 맞물린다. 단순 챗봇을 넘어 여러 모델과 도구를 연결하는 ‘에이전트형’ 서비스가 늘면서, 어디서 어떤 비용이 새는지 식별하기가 더 어려워지고 있다. 겉으로는 하나의 AI 기능처럼 보여도, 내부적으로는 여러 단계의 모델 호출과 인프라 자원 사용이 동시에 일어나기 때문이다.

구글, 내부 AI 적용으로 3000만달러 절감

구글은 이런 비용 통제와 생산성 개선 효과를 자사 운영에서도 입증했다고 밝혔다. 회사는 내부적으로 ‘구글 온 구글 AI’라는 전환 프로그램을 통해 알파벳의 공급업체 송장 대조 업무에 조정형 에이전트를 적용했다. 사람은 직접 실행자가 아니라 에이전트 결과를 검토하고 피드백을 주는 역할을 맡았다.

그 결과 처리 용량은 4배 늘었고, 약 3000만달러의 비용 절감 효과를 냈다고 굽타는 설명했다. 원화 기준으로는 약 456억3600만원 수준이다. 이는 제시된 환율인 달러당 1521.20원을 적용한 수치다.

굽타는 이 사례의 핵심이 ‘100% 정확도’를 처음부터 요구하지 않은 데 있다고 강조했다. 사람을 중간에 두는 ‘휴먼 인 더 루프’ 구조를 통해, 에이전트가 만든 결과물을 검토하고 개선하는 방식이 현실적인 확산 모델이 될 수 있다는 것이다. 즉 AI 자동화의 성패는 완전 무인화보다도, 비용과 정확도, 속도의 균형을 어떻게 설계하느냐에 달려 있다는 해석이다.

24시간 자율 에이전트 시대… 비용 추적은 더 촘촘해져야

향후 과제는 더 분명하다. 최근 발표된 구글 워크스페이스용 개인 에이전트 ‘제미나이 스파크’처럼 24시간 작동하는 자율형 에이전트가 확산되면 비용 귀속 구조는 한층 복잡해진다. 상위 조정 에이전트가 여러 하위 에이전트를 호출하고, 각 하위 에이전트가 서로 다른 모델 등급을 쓰는 구조가 일반화될 수 있어서다.

이 경우 기업은 조정 에이전트 단위뿐 아니라 하위 에이전트별 비용, 입력·출력 토큰별 비용, 사용 모델별 비용, 부서나 프로젝트 태그별 비용까지 모두 들여다볼 수 있어야 한다. 그래야 부서별 비용 전가와 이상 지출 탐지가 실제로 의미를 갖는다.

굽타 역시 “같은 작업이라도 더 단순한 업무에는 경량 모델을, 복잡한 업무에는 최상위 모델을 배치할 수 있다”며 “결국 전체 비용의 ‘설명 가능성’을 확보하려면 모든 계층에서 비용 세분화가 필요하다”고 말했다.

AI 확산이 본격화할수록 핀옵스는 더 이상 청구서 정산 기능에 머물기 어렵다. 클라우드, 소프트웨어형 서비스(SaaS), AI, 자율형 에이전트를 함께 관리하는 운영 프레임워크로 역할이 넓어지고 있다. 기업 입장에서는 혁신 속도만큼 비용 구조를 정교하게 해석하는 능력이 경쟁력으로 떠오르는 흐름이다.