IBM의 자회사 레드햇(Red Hat)이 자사 인공지능 플랫폼의 세 번째 주요 업데이트인 '레드햇 AI 3'를 공개하며 엔터프라이즈 AI 도입 확대를 본격적으로 지원하고 나섰다. 레드햇은 이번 플랫폼을 통해 하이브리드 클라우드 환경에서 대규모 생산용 AI 추론(inference)과 지능형 에이전트 배포를 가능하게 한다는 전략이다.

레드햇 AI 3는 데이터센터, 퍼블릭 클라우드, 엣지 컴퓨팅 등 다양한 환경에서 AI 워크로드를 유연하고 효율적으로 배치할 수 있도록 설계됐다. 레드햇 AI 사업 총괄 조 페르난데스(Joe Fernandes)는 “AI 플랫폼은 단일 서버에 한 모델만 돌리는 시대가 아니다”라며 “수많은 모델이 여러 추론 서버에 분산돼 돌며 일관된 운영이 가능한 인프라가 필수”라고 강조했다.

이번 릴리스는 오픈시프트 AI(OpenShift AI), 엔터프라이즈 리눅스 AI, AI 추론 서버 기능을 통합한 형태로, 기존 기업 환경에서 다양한 프레임워크와 도구를 활용해 AI 모델을 운영하는 복잡성을 줄이는 데 초점을 맞췄다. 특히 생성형 AI 모델 도입이 산업 전반에서 빠르게 확산됨에 따라, 레드햇은 AI 운영 단계에 필요한 성능 최적화와 비용 효율성 확보라는 현장 과제를 해소하는 데 집중하고 있다.

핵심역량으로 추론 성능을 강화한 점도 주목된다. AI 3는 오픈소스 추론 라이브러리 vLLM과 신형 분산 추론 엔진 'llm-d'를 기반으로, 쿠버네티스(Kubernetes) 상에서 대규모 언어모델(LLM)이 효율적으로 스케줄링되고 제공되도록 지원한다. 레드햇 AI 엔지니어링 부사장 스티븐 헐스(Steven Huels)는 “LLM은 전통적인 애플리케이션과 달리 상태 유지(stateful) 기반과 키-값 캐시(KVCache)에 의존한다”며 “결과적으로 GPU 자원이 유휴 상태 없이 적극 활용된다”고 설명했다.

또한 레드햇 AI 3에는 모델-서비스형(Model-as-a-Service) 기능이 새롭게 도입돼, 내부 사용자들이 자체적으로 AI 모델을 상용 서비스처럼 운영할 수 있는 구조를 채택했다. 보안, 비용, 데이터 프라이버시 문제로 사외 API를 쓰기 어려운 기업들이 자사 환경 내에서 AI 모델을 구축하고 제공할 수 있게 된 셈이다. 이를 가능하게 하는 핵심 기술은 ‘레드햇 커넥티비티 링크’ 기반 통합 게이트웨이다.

에이전트 중심의 AI 생태계를 겨냥한 기능도 확대됐다. 페르난데스 부사장은 “다양한 프레임워크 기반의 AI 에이전트를 모두 수용할 수 있는 개방형 플랫폼이 목표”라며, 이를 위해 새로운 API 계층인 '라마 스택(Llama Stack)'과 모델 컨텍스트 프로토콜(Model Context Protocol)을 통합했다고 밝혔다.

모델 커스터마이징을 위한 툴킷도 주목된다. 레드햇은 인스트럭트랩(InstructLab) 오픈소스 프로젝트를 바탕으로 특화된 파이썬 라이브러리를 제공하며, 이를 통해 AI 개발자들에게 더 정밀한 모델 튜닝 환경을 지원한다. 여기에 더해 비정형 문서를 AI가 이해할 수 있는 구조로 정제하는 도클링(Docling) 프로젝트도 적용됐다.

레드햇은 이밖에도 AI 모델의 성능을 강화하는 검색 기반 생성(RAG), 쿠베플로우(Kubeflow)와의 연동 자동화, 그리고 머신러닝 기능을 관리하는 중앙 저장소 'Feature Store' 기능을 추가하며 기업 전반의 AI 생산 시스템 이전과 확산을 본격적으로 뒷받침하고 있다.

AI가 실험 단계를 넘어 본격적인 운영 환경으로 옮겨가고 있는 가운데, 레드햇 AI 3는 하이브리드 인프라에 최적화된 추론 환경과 역량 확장을 핵심으로 기업 고객의 니즈를 정확히 겨냥하고 있다.