기업 AI, ‘GPU 더 사기’에서 ‘추론비용 줄이는 최적 배치’로…AMD·레드햇 해법 주목

기업들의 인공지능 도입이 새로운 분기점을 넘어서고 있다. 이제 시장의 관심은 AI에 투자할지 여부가 아니라, 어떤 업무에 어떤 반도체와 인프라를 배치해 비용 대비 효율을 극대화할지로 옮겨가는 분위기다. 특히 ‘에이전트형 AI’ 업무가 빠르게 늘고 추론 비용이 커지면서, 무조건 최고성능 장비를 택하기보다 목적에 맞는 컴퓨팅 자원을 고르는 ‘선택’이 대기업의 핵심 과제로 떠오르고 있다.

이 같은 변화 속에서 AMD와 레드햇의 협력도 다시 주목받고 있다. 존 햄프턴(John Hampton) AMD 글로벌 엔터프라이즈 기술영업 총괄 부사장은 미국 보스턴에서 열린 ‘레드햇 서밋 2026’ 현장에서, 기업들이 하이브리드 환경 전반에서 더 유연한 AI 인프라를 원하고 있다고 설명했다. 그는 최근 고객사들이 AI 수요에 대응하기 위해 대규모 GPU 클러스터를 서둘러 구축했지만, 실제 운영 단계에서는 예상보다 훨씬 큰 비용 부담에 직면하고 있다고 짚었다.

AI 추론 비용 급증…기업들, 대형 GPU 일변도 전략 재검토

햄프턴에 따르면 많은 기업은 초기 AI 경쟁에서 뒤처지지 않기 위해 고성능 GPU를 대거 확보하는 데 집중했다. 문제는 서비스가 커질수록 AI 질의 한 번마다 발생하는 비용이 누적되면서 예산 압박이 빠르게 커졌다는 점이다. 업계에서는 이를 ‘토크노믹스’라고 부르는데, 생성형 AI 사용량이 늘수록 토큰 처리 비용도 함께 불어나 수익성과 직결되는 구조를 뜻한다.

그는 “기업들이 AI를 위해 대형 GPU 클러스터를 먼저 사들였지만, 이제는 감당하기 어렵다는 반응이 나온다”며 “AI 활용은 늘고 있지만 비용이 너무 빠르게 폭증하고 있다는 우려가 크다”고 말했다. 결국 기업 AI 전략의 중심이 ‘최고 성능 장비 확보’에서 ‘업무별 최적 배치’로 이동하고 있다는 의미다.

AMD·레드햇, CPU부터 GPU까지 ‘풀스펙트럼’ 해법 제시

AMD는 이런 흐름에 대응해 CPU와 비용 효율형 GPU, 고성능 가속기를 아우르는 ‘풀스펙트럼’ 포트폴리오를 내세우고 있다. 여기에 레드햇의 오픈소스 기반 소프트웨어 스택을 결합해, 기업이 특정 벤더에 종속되지 않고 하이브리드 클라우드 환경에서 AI 업무를 유연하게 운영할 수 있도록 지원하겠다는 전략이다.

대표적으로 AMD 인스팅트 MI350P는 기존 서버에 비교적 쉽게 적용할 수 있는 PCIe 기반 GPU로 소개됐다. 공랭식 설계를 채택해 비용 효율성을 높인 것이 특징이다. 레드햇 AI는 이런 하드웨어 위에서 AI 에이전트를 배포하고 확장할 수 있는 기업용 플랫폼 역할을 맡는다. 여기에 AMD 에픽(EPYC) CPU와 레드햇 가상화 도구를 활용하면 서버 통합도 가능해져, 데이터센터 공간과 전력 사용량을 줄이는 데도 도움이 된다는 설명이다.

핵심은 ‘개방형 구조’…AI 예산 통제와 인프라 현대화 동시 추진

이번 메시지의 핵심은 ‘개방형’과 ‘선택’이다. AMD는 레드햇과 함께 폐쇄형 생태계보다 열린 구조를 통해 기업이 AI 워크로드별로 CPU, 저전력 GPU, 고성능 가속기 가운데 가장 적합한 자원을 고를 수 있어야 한다고 강조했다. 추론 업무 전부를 비싼 장비에 올릴 필요가 없다는 것이다.

이 접근은 단순한 비용 절감에 그치지 않는다. 기업 입장에서는 기존 인프라를 최대한 활용하면서도 AI 도입 속도를 늦추지 않을 수 있고, 절감한 예산과 전력 여력을 새로운 AI 프로젝트에 재투자할 수 있다. AI 인프라 현대화와 예산 통제를 동시에 노릴 수 있다는 점에서 실무적 의미가 크다.

햄프턴은 앞으로의 AI 시장이 ‘무엇을 샀는가’보다 ‘어떻게 배치했는가’로 평가받게 될 가능성이 높다고 내다봤다. 기업들의 AI 경쟁이 본격적인 운영 단계로 접어든 만큼, 향후 승부는 성능 과시보다 총소유비용과 실질적 성과를 얼마나 정교하게 맞추느냐에 달려 있다는 해석이 나온다.