레드햇, ‘에이전틱 AI’ 확산 속 신뢰·추론 표준 전면에…vLLM에 베팅

기업들이 ‘에이전틱 AI’를 실제 업무에 투입하면서 관심의 중심이 모델 성능에서 ‘신뢰’로 옮겨가고 있다. AI가 코드를 작성하고 시스템을 건드리며 실질적인 행동까지 수행하는 만큼, 보안과 거버넌스, 안정성을 어떻게 확보할지가 핵심 과제로 떠올랐다는 분석이다.

레드햇의 최고기술책임자(CTO) 겸 글로벌 엔지니어링 수석부사장 크리스 라이트(Chris Wright)는 레드햇 서밋 2026 현장에서 “에이전트가 실제 비즈니스 안에서 행동하도록 만들 때, 그 AI를 어떻게 신뢰할 수 있을지가 중요하다”고 말했다. 그는 특히 최소 권한 부여, 샌드박스 환경, 대규모 에이전트 관리 체계가 필수라고 강조했다.

레드햇, vLLM 중심 ‘표준 추론 계층’ 구축에 베팅

레드햇은 기업용 AI 복잡성을 줄이는 해법으로 ‘표준화된 추론 계층’을 제시했다. 과거 리눅스와 쿠버네티스가 업계 공통 기반이 됐던 것처럼, 이제는 오픈소스 AI 추론 엔진인 vLLM이 그 역할을 맡아야 한다는 구상이다.

이를 위해 레드햇은 뉴럴매직 인수를 통해 양자화와 추론 성능 최적화 역량을 확보했다. 크리스 라이트는 “모델 제공업체들이 모델을 공개하기 전부터 먼저 vLLM에 맞춰 개발하고 있다”며 “이 같은 표준화가 생태계 전반의 효율을 끌어올리고, 기업 내부에서도 운영 효율성을 높이는 기반이 된다”고 설명했다.

이는 기업 입장에서 인프라 선택의 불확실성을 줄인다는 점에서 의미가 있다. 어떤 기반 위에서 모델을 운영할지 명확해야 개발과 배포, 유지보수 비용을 낮출 수 있기 때문이다. 결국 오픈소스 AI 신뢰는 단순히 기술 윤리의 문제가 아니라, 실제 운영 환경에서의 ‘예측 가능성’과도 연결된다는 뜻이다.

추론 비용, 이제는 이사회가 보는 경영 변수

AI 확산으로 ‘추론 비용’도 중요한 경영 지표가 되고 있다. 대규모 언어모델을 계속 돌리는 데 드는 전력과 반도체 비용이 커지면서, 기업들은 무조건 가장 강력한 모델을 쓰기보다 업무별로 가장 효율적인 조합을 찾는 방향으로 움직이고 있다.

크리스 라이트는 각 작업에 맞춰 비용 대비 성능, 전력 대비 효율이 가장 좋은 하드웨어와 모델을 선택해야 한다고 말했다. 다시 말해, 모든 업무에 같은 AI를 적용하는 방식은 비효율적일 수 있다는 얘기다. 단순 업무에는 작은 모델이, 복잡한 판단에는 대형 모델이 더 적합할 수 있다.

이 같은 흐름은 AI 인프라가 ‘단일 구조’보다 ‘이기종 구조’로 갈 가능성을 키운다. 클라우드와 온프레미스, 공장 현장 같은 엣지 환경이 함께 쓰이고, 하드웨어도 GPU 일변도에서 다양한 조합으로 확대될 수 있어서다. 레드햇은 이 지점에서 자사 플랫폼 전략의 지속적인 가치를 기대하고 있다.

‘신뢰 가능한 AI’ 경쟁, 플랫폼 기업으로 확산

이번 발언은 AI 시장 경쟁이 더 이상 모델 성능만으로 결정되지 않는다는 점을 보여준다. 기업 고객이 실제로 원하는 것은 더 똑똑한 모델 하나가 아니라, 신뢰할 수 있고 통제 가능한 실행 환경이라는 의미다.

특히 수백, 수천 개의 AI 에이전트가 동시에 돌아가는 환경에서는 보안 정책, 권한 관리, 감사 가능성 같은 요소가 필수다. 업계가 리눅스와 쿠버네티스 시대처럼 공통 표준을 다시 찾고 있는 이유도 여기에 있다.

결국 오픈소스 AI 신뢰는 향후 기업용 AI 확산 속도를 좌우할 핵심 조건이 될 가능성이 크다. 표준화된 추론 계층과 이기종 인프라 전략이 자리 잡을수록, 기업들은 AI를 실험 단계를 넘어 실제 생산 환경으로 더 빠르게 옮길 수 있을 것으로 보인다.