기업 AI, 파일럿 끝나면 ‘추론 비용’이 문제… 레드햇 “오픈AI·앤스로픽 의존 줄여야”

기업들이 인공지능(AI)을 시범 도입 단계에서 실제 업무로 확대하면서, 대규모 ‘추론’ 비용과 운영 복잡성이 핵심 과제로 떠오르고 있다. 이에 따라 저장소·연산·관리 체계를 하나의 공통 기반으로 묶는 ‘수평형 클라우드’가 기업 AI 전략의 중심으로 부상하고 있다.

레드햇의 스티븐 와트(Stephen Watt) 최고기술책임자(CTO) 조직 부사장 겸 수석 엔지니어는 최근 레드햇 서밋 2026 행사에서, 초기에는 오픈AI나 앤스로픽 같은 ‘프런티어 모델’ 사업자를 활용하는 것이 현실적이지만 일정 규모를 넘어서면 같은 방식이 오히려 비효율적이 될 수 있다고 진단했다.

그는 “지금 시점에서 오픈AI나 앤스로픽 같은 프런티어 모델 제공업체로 시작하지 않는 것은 비현실적”이라면서도 “하지만 토큰 비용이 일정 수준을 넘는 규모에 도달하면 계속 그 구조에 머무는 것도 비합리적”이라고 말했다. 이어 “문제는 벗어나고 싶을 때 어떤 선택지가 있는지, 그리고 이를 어떻게 실행할지”라고 덧붙였다.

핵심은 기업들이 더 이상 단일 대형 모델에만 의존하지 않고, 비용과 성능을 함께 관리할 수 있는 개방형 하이브리드 클라우드 구조를 갖추는 데 있다는 설명이다. 이 방식은 특정 소수 AI 모델 기업에 대한 종속을 줄이고, 기업 내부 정책에 맞는 운영 통제권도 확보할 수 있다는 점에서 주목받고 있다.

‘수평형 클라우드’로 비용 낮추고 통제력 높인다

레드햇은 AI 3.4를 통해 ‘모델 서비스형’과 분산 추론 기능을 확장하고 있다. 업계에서는 이를 계기로 AI 인프라를 개별 부서별 실험 환경이 아니라, 전사적으로 공유하는 하나의 기반 플랫폼으로 전환해야 한다는 인식이 커지고 있다.

와트는 뉴질랜드 통신사업자 원 뉴질랜드 그룹(One New Zealand Group)의 사례를 소개하며, 레드햇 오픈시프트 기반 수평형 통신 클라우드 플랫폼 도입 이후 서비스 제공 기간은 40% 단축됐고 운영비는 30~45% 줄었다고 설명했다. 기존에 수주에서 수개월 걸리던 작업이 며칠 단위로 압축됐다는 것이다.

그는 “각 부서가 저마다 다른 방식으로 실험과 파일럿을 진행하고 있다”며 “하지만 결국 파일럿 단계가 끝나면 공통된 관찰 결과가 나오고, 이를 바탕으로 중앙 IT 조직이 어떤 플랫폼을 도입할지 판단해 총소유비용(TCO)을 낮추고 효율을 높일 수 있다”고 말했다.

이는 기업 AI 도입이 더 이상 개별 프로젝트 수준에 머무를 수 없다는 점을 시사한다. 여러 부서가 제각기 다른 모델과 시스템을 붙이는 구조로는 비용 통제와 보안, 거버넌스 측면에서 한계가 커질 수밖에 없기 때문이다.

질문 성격 따라 다른 모델 연결… 추론 라우팅이 대안

레드햇은 이런 전환을 위한 실질적 도구로 ‘vLLM 시맨틱 라우터’ 프로젝트를 제시했다. 이 기술은 모든 요청을 하나의 거대 모델에 보내는 대신, 질문의 성격에 따라 특정 분야에 맞춰 학습된 개방형 가중치 모델로 추론 요청을 자동 분배한다.

예를 들어 물리학 관련 질문은 해당 분야에 최적화된 모델로, 역사 관련 질문은 또 다른 전문 모델로 보내는 식이다. 이를 통해 정확도를 높이면서도 추론 비용은 낮출 수 있다고 회사 측은 설명했다.

와트는 “추론 요청이 언제나 가장 높은 성능을 내는 모델로 향하도록 만들 수 있다”며 “이것이 오픈소스의 핵심 전제 가운데 하나인 ‘맞춤형 해법’ 구축 능력”이라고 강조했다. 이어 “레드햇은 기업이 가장 적합한 ‘레시피’를 만들 수 있도록 필요한 재료를 제공하는 셈”이라고 말했다.

기업 AI 전략, 편의성에서 ‘자체 운영’으로 이동

이번 발언은 기업 AI 시장이 ‘빠른 도입’ 중심에서 ‘지속 가능한 운영’ 중심으로 옮겨가고 있음을 보여준다. 초기에는 오픈AI, 앤스로픽 같은 대형 모델 사업자의 편의성이 강점이지만, 실제 서비스 규모가 커질수록 토큰 비용과 벤더 종속 문제가 부담이 될 수 있어서다.

결국 기업 AI 인프라의 경쟁력은 어떤 모델을 먼저 쓰느냐보다, 이후 어떤 방식으로 추론 구조를 최적화하고 운영 주도권을 가져오느냐에 달릴 가능성이 크다. 시장에서는 앞으로 수평형 클라우드와 개방형 하이브리드 모델이 기업 AI의 ‘탈출구’이자 비용 절감 해법으로 자리 잡을지 주목하고 있다.