레드햇, 기업 AI 운영 ‘기반 레이어’ 노린다…추론 비용·에이전트 거버넌스 정조준

레드햇이 차세대 성장 축으로 ‘오픈소스 기반 AI 생태계’를 전면에 내세웠다. 리눅스와 쿠버네티스가 클라우드 시대의 표준이 됐듯, 기업용 AI 역시 개방형 기술 스택 위에서 굴러갈 것이라는 판단이다.

레드햇은 최근 ‘레드햇 AI 3.4’를 공개하며 대규모 ‘추론’과 에이전트 운영, ‘토큰 경제성’을 아우르는 플랫폼 전략을 제시했다. 회사는 특히 프라이빗, 온프레미스 환경에서의 AI 추론 비용이 이제 대형 클라우드 사업자와 맞먹는 수준까지 왔다고 강조했다. 이는 기업들이 외부 클라우드 의존도를 낮추면서도 AI 서비스 효율을 확보할 수 있다는 의미로 읽힌다.

핵심은 추론 비용과 토큰 경제성

브라이언 스티븐스(Brian Stevens) 레드햇 수석부사장 겸 AI 최고기술책임자(CTO)는 모델 경쟁의 본질을 ‘성능’과 ‘토큰 비용’ 두 가지로 요약했다. 어떤 모델이 더 뛰어난 답변을 내놓는지와, 그 답변을 만들기 위해 드는 비용이 결국 시장 경쟁력을 가른다는 설명이다.

그는 레드햇이 고객사와 오픈소스 커뮤니티에 ‘가장 효율적인 토큰 경제성’을 제공하는 방향으로 기술을 바꿨다고 말했다. 기업 AI가 실험 단계를 넘어 실제 서비스로 확대되는 상황에서, 성능 못지않게 비용 구조가 중요해지고 있다는 점을 겨냥한 발언이다.

클라우드 실험에서 온프레미스 운영으로 이동

레드햇에 따르면 현재 기업들은 클라우드 기반 AI 실험에서 벗어나 사내 인프라 중심의 본격 운영 단계로 이동하고 있다. 이 과정에서 가장 큰 고민은 토큰 사용량 관리와 에이전트 통제다.

조 페르난데스(Joe Fernandes) 레드햇 AI 사업부 부사장 겸 총괄은 레드햇 AI 3.4가 vLLM 추론 엔진과 llm-d 분산 추론 프레임워크 위에 ‘모델 서비스’ 계층을 추가했다고 설명했다. 이를 통해 플랫폼 운영팀은 복잡한 하부 인프라를 직접 관리하지 않고도, 내부 사용자에게 모델 엔드포인트 접근 권한을 통제된 방식으로 제공할 수 있다.

이는 기업 입장에선 보안과 비용 관리, 사용량 계측을 한 번에 챙길 수 있는 구조다. 특히 앞으로 AI 추론 수요의 상당 부분이 사람보다 ‘에이전트’에서 나올 가능성이 높은 만큼, 사용량 통제 체계가 더 중요해질 전망이다.

에이전트 자율성은 기회이자 위험

레드햇은 AI 에이전트 확산의 최대 과제로 ‘거버넌스’를 꼽았다. 에이전트는 스스로 판단하고 작업을 수행하는 자율성 덕분에 생산성을 높일 수 있지만, 동시에 권한 오남용이나 예기치 않은 행동으로 이어질 위험도 크다.

이를 위해 레드햇 AI 3.4에는 새로운 ‘에이전트옵스’ 기능이 추가됐다. 이 기능은 추적, 관측성, 신원 관리, 생애주기 통제를 하나의 운영 계층으로 묶는다. 쉽게 말해 에이전트가 누구인지, 어떤 권한을 가졌는지, 무엇을 실행했는지, 문제가 생겼을 때 어디서 원인을 찾아야 하는지를 기업이 한눈에 관리할 수 있도록 돕는 셈이다.

페르난데스는 에이전트의 핵심은 ‘자율성’이라고 짚으면서도, 동시에 네트워크와 파일 시스템 접근 범위, 자격 증명 전달 방식, 작업 이력 추적 체계가 함께 마련돼야 한다고 강조했다. 기업이 에이전트를 신뢰하려면 단순히 성능이 아니라 ‘통제 가능한 자율성’이 필요하다는 의미다.

AI 시장의 승부처는 ‘지속 가능한 기반’

레드햇이 그리는 3~5년 뒤 청사진은 단일 지배 플랫폼이 아니라, 다양한 하드웨어와 모델, 클라우드가 공존하는 ‘풍부한 오픈 생태계’다. 현재 AI 시장은 공급자별로 기술 스택이 나뉘어 있는 ‘사일로’ 구조에 가깝지만, 장기적으로는 그 위를 관통하는 공통 기반이 필요하다는 시각이다.

스티븐스는 지금의 AI 시장이 여전히 단절된 구조에 머물러 있다고 진단했다. 그러면서 레드햇이 그 사이에서 모두가 기대고 쌓아 올릴 수 있는 ‘지속 가능한 AI 생태계’의 핵심 계층이 되겠다는 구상을 드러냈다.

이는 특정 모델이나 특정 반도체에 종속되지 않는 중립적 플랫폼을 선점하겠다는 전략으로 해석된다. 클라우드 시대에 리눅스와 쿠버네티스가 사실상의 공통 언어가 됐던 것처럼, AI 시대에도 오픈소스가 기업 표준의 중심으로 올라설 수 있다는 기대가 반영된 셈이다.

시장 의미

이번 발표의 핵심은 레드햇이 단순히 AI 도구를 추가한 것이 아니라, 기업용 AI 운영의 ‘기반 레이어’를 노리고 있다는 데 있다. 특히 추론 비용 절감과 에이전트 거버넌스를 함께 묶은 점은, 생성형 AI가 시범 도입을 넘어 실제 업무 환경으로 들어가는 흐름과 맞물린다.

결국 기업 AI 시장의 경쟁은 더 좋은 모델을 누가 먼저 내놓느냐를 넘어, 누가 더 낮은 비용으로 안전하게 운영할 수 있는 환경을 제공하느냐로 옮겨가고 있다. 레드햇의 오픈소스 전략이 이 변화 속에서 얼마나 설득력을 얻을지 주목된다.