AI 인프라의 효율성과 확장성을 높이기 위한 핵심 기술로 '통합 인프라' 구축이 주목받는 가운데, 오픈소스 방식으로 이를 가능케 하는 '레드햇 인퍼런스 서버(Red Hat Inference Server)'가 업계의 이목을 끌고 있다. 레드햇(RHT)은 이 서버를 통해 하이브리드 클라우드 전반에 걸쳐 머신러닝 모델을 일관되게 배포·관리하며, AI 생태계의 복잡성 해소와 생산성 향상이라는 두 가지 과제를 동시에 해결하고자 한다.
브라이언 스티븐스 레드햇 최고기술책임자 겸 AI 부문 부사장은 이 서버가 “오픈소스 생태계에서의 리눅스처럼 중심적 역할을 수행할 수 있다”고 설명했다. 오픈소스 기반의 가상 대형 언어모델 프로젝트 'vLLM'을 핵심 커널로 삼아, 모델과 가속기 종류에 관계없이 폭넓은 활용이 가능하도록 한 것이 특징이다. 그는 vLLM이 AI 환경의 파편화를 극복할 수 있는 *공통 플랫폼*으로 진화할 수 있다고 전망했다.
레드햇은 기존 오픈시프트 AI 플랫폼에도 새롭게 발매된 메타의 ‘라마 스택(Llama Stack)’을 통합해 엔터프라이즈 환경에 최적화된 *에이전틱 AI*를 구현하고 있다. 사용자들은 라마 스타트를 통해 도구 호출, 복잡한 추론, 검색 기반 생성(RAG) 등 고급 기능을 구동하는 지능형 에이전트를 개발할 수 있으며, 앤트로픽의 모델 컨텍스트 프로토콜(MCP) 같은 기술과도 연동할 수 있다. 이러한 접근은 AI 서비스의 확장성과 각 산업별 특화 모델 구축에 유리한 환경을 제공한다는 점에서 특히 높은 평가를 받고 있다.
조 페르난데스 레드햇 AI 부문 부총괄은 “레드햇은 전통적으로 플랫폼 중심의 기업이며, AI 역시 클라우드 네이티브, 컨테이너 기반 아키텍처를 중심으로 접근해야 한다”고 강조했다. 물리적인 인프라가 분산된 환경에서도 AI 모델이 원활히 실행될 수 있도록 하나의 일관된 기반을 제공하는 것이 그의 전략적 목표다.
AI가 빠르게 산업 전반의 가치 사슬을 재편하면서, 다양한 AI 모델과 하드웨어 가속기, 클라우드 환경이 조화롭게 운용될 수 있는 통합 인프라의 필요성은 더욱 부각되고 있다. 레드햇의 이번 접근 방식은 개방성과 호환성을 무기로 삼아 시장 내 유연성과 경쟁력을 동시에 확보하려는 시도라는 점에서 눈길을 끈다. AI 산업의 다음 성장 국면을 대비하는 데 있어, '하나의 코어로 모든 AI를 운영하는' 통합 전략이 유력한 해법으로 부상하고 있다.