레드햇, AI 추론 혁신 위한 'llm-d' 프로젝트 기부

김민준 기자

2026.03.24 (화) 21:47

레드햇이 AI 인프라의 추론 기능을 강화하기 위해 'llm-d' 프로젝트를 기부했다. 이는 대규모 언어 모델의 운영 효율성을 높이기 위한 노력이다.

레드햇, AI 추론 혁신 위한 'llm-d' 프로젝트 기부 / TokenPost.ai

레드햇은 최근 AI 인프라에서 중요한 요소로 떠오른 '추론'을 지원하기 위한 새로운 방안을 모색하고 있다. 특히, 대규모 언어 모델의 확산에 따라, 이러한 모델을 신뢰성 있고 경제적으로 운영할 수 있는 시스템의 필요성이 더욱 커졌다. 이에 대한 해법으로, 레드햇은 대규모 언어 모델을 쿠버네티스(Kubernetes) 클러스터에서 실행할 수 있는 오픈소스 프로젝트 'llm-d'를 클라우드 네이티브 컴퓨팅 재단에 기부했다. 이 프로젝트는 AI 추론을 실험 단계에서 기업 환경으로 확장하려는 노력의 일환이다.

레드햇의 기술 책임자인 브라이언 스티븐스는 "AI는 데이터 과학자들에 의해 개발되며, 이들이 자신의 인프라를 구축해 사용하고 있다"며 "하지만 AI가 결국 CIO의 문제로 넘어올 것이고, CIO는 쿠버네티스와 같은 플랫폼을 사용해 이를 다뤄야 한다"고 강조했다. 이는 AI 인프라가 단순히 연구실을 벗어나 기업의 운영 체계로 진화하고 있다는 점을 시사한다.

추론 과정을 개선하기 위해 'llm-d' 프로젝트는 대규모 언어 모델의 추론 속도와 이동성을 높이는 데 중점을 두고 있으며, 이는 하드웨어 환경 전반에 걸쳐 쉽게 관리할 수 있는 시스템을 목표로 한다. 이 프로젝트는 추론 과정에서 '비구성 서비스' 개념을 도입해, 추론의 각 단계를 별도로 설정하고 최적화할 수 있도록 한다.

레드햇은 이러한 오픈소스 모델이 기업의 다양한 애플리케이션에 효율적으로 적용될 수 있도록 지속적으로 발전시킬 계획이다. 이는 미래에 AI 시스템의 효율성을 더욱 높이고, 쿠버네티스 기반의 플랫폼에서 AI 추론이 핵심 요소로 자리 잡을 수 있는 기반을 마련하기 위함이다.

뉴스를 실시간으로...토큰포스트 텔레그램 가기

당신의 최대 리스크는 시장이 아닙니다. 당신 자신입니다.

내 투자 DNA 확인하기 →

본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.

광고문의 기사제보 보도자료

#레드햇 #AI #쿠버네티스 #클라우드네이티브컴퓨팅재단