AI 비용 폭증에 FinOps 역할 재편…토큰값 넘어 ‘업무 재설계’까지 본다

생성형 인공지능(AI)이 실험 단계를 넘어 기업의 핵심 운영비로 자리 잡으면서 ‘FinOps’의 역할도 빠르게 바뀌고 있다. 과거 클라우드 비용을 통제하던 수준을 넘어, 이제는 AI 지출 전반을 설계하고 업무 재구성까지 관여해야 한다는 요구가 커지고 있다.

피델리티 인베스트먼트의 제니퍼 헤이스는 FinOps X 2026에서 “토큰 비용의 투명성 확보는 출발점일 뿐”이라며 “입출력 처리, 대규모 데이터베이스 사용량, 개발자용 하드웨어, 로컬 모델 실행 여부까지 함께 봐야 한다”고 말했다. AI 비용은 단순한 API 사용료가 아니라 데이터 처리량, 추론 비용, 저장 비용, 개발 환경 투자, 인력 운영 변화까지 얽힌다는 설명이다.

이번 행사에서 헤이스와 HSBC의 나탈리 데일리는 AI 확산이 FinOps 실무를 어떻게 바꾸고 있는지 집중적으로 짚었다. 두 사람은 기업들이 AI를 기존 업무에 단순히 덧붙이는 방식으로 접근하면 클라우드 전환 때와 같은 비효율을 반복할 수 있다고 경고했다.

헤이스는 기술 변화 속도가 과거와 비교할 수 없을 정도로 빨라졌다고 진단했다. 그는 과거 소프트웨어 주기가 3~4년이었다면, 클라우드 시대에는 6~12개월로 짧아졌고 이제는 한 분기 안에 20개 안팎의 새 AI 모델이 등장하는 수준이라고 설명했다. 이 때문에 기업은 특정 모델에 종속되지 않으면서도 고객 데이터와 내부 자산을 보호할 수 있는 ‘중립적 프레임워크’를 마련해야 하는 과제를 안게 됐다.

시장 조사도 이런 흐름을 뒷받침한다. 더큐브 리서치의 2025년 자료에 따르면 전체 조직의 24%는 ‘시간 단위’ 코드 배포를 원하고 있다. AI 모델이 빠르게 실제 서비스에 투입되면서 개발·운영 주기도 그만큼 짧아지고 있다는 의미다.

다만 AI 지출을 관리한다고 해서 곧바로 제대로 통제하고 있다는 뜻은 아니다. ‘State of FinOps 2026’ 보고서에 따르면 실무자의 98%가 이미 AI 비용을 관리하고 있다고 답했지만, 실제로는 많은 기업이 비용 구조와 가치 창출 방식을 충분히 이해하지 못한 상태라는 평가가 나온다.

헤이스는 특히 ‘리프트 앤드 시프트’ 방식의 한계를 강조했다. 클라우드 전환 초기에 많은 기업이 기존 시스템을 그대로 옮기는 데 그쳤듯, AI 역시 단순 보조 도구로만 쓰면 기대 효과가 제한될 수 있다는 것이다. 그는 AI의 진짜 가치는 업무 흐름, 프로세스, 소프트웨어 개발 생명주기, 법무·인사 부서의 일하는 방식까지 다시 설계하는 데서 나온다고 말했다.

이 지점에서 FinOps는 단순한 비용 감시 조직이 아니라 의사결정 파트너로 역할이 넓어진다. 어떤 모델이 어떤 업무에 적합한지, 비용과 속도, 실행 성능 사이에서 어떤 균형을 택할지 판단하는 과정에 직접 참여해야 한다는 얘기다. 데일리는 FinOps가 엔지니어, 개발자, 인사팀이 ‘맞는 모델’을 고를 수 있도록 돕는 기능을 해야 한다고 설명했다.

결국 AI 시대의 FinOps는 ‘얼마를 썼는가’를 넘어서 ‘어디에, 왜, 어떤 구조로 써야 하는가’를 묻는 단계로 이동하고 있다. 생성형 AI 도입이 빨라질수록 기업의 경쟁력은 모델 도입 자체보다, 그 비용 구조와 업무 재설계를 얼마나 정교하게 함께 가져가느냐에 달려 있다는 해석이 나온다.