AI 확산 국면…승부처는 ‘GPU 경쟁’ 아닌 비용 효율 추론 인프라

기업들의 인공지능(AI) 도입이 실험 단계를 넘어 본격 확산 국면에 접어들면서, 시장의 승부처도 바뀌고 있다. 이제는 단순히 더 큰 모델과 더 많은 그래픽처리장치(GPU)를 쌓는 경쟁보다, 예산을 통제하면서도 안정적으로 돌아가는 ‘확장형 AI 추론 시스템’을 누가 더 잘 구축하느냐가 핵심으로 떠올랐다.

레드햇과 인텔은 이런 흐름에 맞춰 오픈소스 기반 AI 추론 인프라 확대에 속도를 내고 있다. 레드햇의 AI 추론 엔지니어링 총괄 타님 이브라힘(Taneem Ibrahim)과 인텔의 데이터센터·AI 부문 부사장 빌 피어슨(Bill Pearson)은 ‘레드햇 서밋 2026’ 현장에서 대규모 AI 서비스 운영의 현실적 과제로 비용 효율성과 인프라 조합 최적화를 꼽았다.

GPU 일변도에서 CPU 병행 전략으로 무게 이동

초기 생성형 AI 확산기에는 챗GPT와 오픈웨이트 모델의 부상 이후, 가능한 한 큰 모델을 대규모 GPU 클러스터에 올리는 방식이 주류였다. 하지만 실제 기업 환경에서는 성능만큼이나 운영비와 통제 가능성이 중요해졌고, 이때 레드햇 엔터프라이즈 리눅스와 오픈시프트 같은 플랫폼 위에서 모델을 어떻게 효율적으로 확장할지가 주요 과제로 떠올랐다는 설명이다.

이브라힘은 레드햇이 상용 기여를 가장 많이 해온 프로젝트 중 하나인 ‘vLLM’을 대규모 환경에서 어떻게 운영할지 고민이 커졌다고 밝혔다. 그는 핵심 과제가 ‘토큰당 비용’을 낮춰 AI를 실제 업무에 적용하고, 거버넌스를 유지하면서, 동시에 대규모 배포까지 가능하도록 만드는 데 있다고 짚었다.

최근에는 인프라 우선순위도 달라지고 있다. 피어슨은 초기 GPU 중심 도입 단계와 달리, ‘에이전트형 AI’가 확산되면서 중앙처리장치(CPU)의 역할이 다시 커지고 있다고 설명했다. 모든 AI 작업이 GPU를 필요로 하는 것은 아니며, 어떤 워크로드를 처리하느냐에 따라 CPU와 GPU를 적절히 조합하는 것이 더 중요해졌다는 의미다.

레드햇·인텔, 제온 기반 vLLM 지원 확대

이런 판단에 따라 양사는 인텔 제온 기반 환경에서 vLLM을 완전 지원하는 기능을 ‘레드햇 AI 3.4’에 탑재했다. 핵심은 모든 고객에게 같은 구성을 권하는 ‘원사이즈핏올’ 방식이 아니라, 각 기업의 업무 성격과 원하는 결과에 맞춰 하드웨어와 소프트웨어 조합을 설계해야 한다는 점이다.

피어슨은 많은 기업이 그동안 ‘망치가 있으니 모든 문제를 못으로 본다’는 식으로 GPU 중심 접근을 해왔다고 진단했다. 그러나 데이터센터에 이미 대규모로 구축된 CPU 자원을 재평가하고, 필요한 만큼의 GPU만 더하는 방식으로 전환하면 더 나은 성능과 더 낮은 비용을 동시에 얻을 수 있다는 설명이다.

특히 툴 호출, 데이터 오케스트레이션 같은 에이전트형 AI 작업은 GPU 없이도 처리 가능한 사례가 적지 않다. 이런 추론 업무를 CPU가 맡으면 GPU는 더 무거운 연산에 집중할 수 있어, 전체 시스템 효율이 높아진다는 것이 인텔 측 판단이다.

AI 인프라 경쟁, ‘성능’보다 ‘운영 효율’이 갈수록 중요

이번 논의는 AI 시장이 이제 단순한 모델 성능 경쟁을 넘어 운영 단계의 경제성 경쟁으로 이동하고 있음을 보여준다. 기업 입장에서는 최고 성능 장비를 최대한 많이 확보하는 것보다, 기존 데이터센터 자산을 얼마나 잘 활용해 ‘낮은 토큰 비용’과 안정적 서비스를 동시에 구현하느냐가 더 현실적인 과제가 됐다.

결국 차세대 AI 경쟁의 승자는 가장 강한 하드웨어를 가진 곳이 아니라, 적절한 CPU·GPU 조합과 오픈소스 소프트웨어를 바탕으로 ‘비용 대비 성과’를 극대화하는 곳이 될 가능성이 크다. 레드햇과 인텔의 이번 협력도 이런 시장 흐름을 반영한 움직임으로 해석된다.