AI 추론 확산에 클라우드 비용 압박… 기업들, 하이브리드에서 ‘x86 효율’로 돌파구 찾나

인공지능(AI) ‘추론’ 수요가 빠르게 늘면서 기업들의 클라우드 비용 부담이 한층 커지고 있다. 이런 가운데 하이브리드 클라우드 환경에서 ‘x86 효율’을 높이는 방식이 가장 빠른 비용 절감 수단으로 떠오르고 있다는 분석이 나왔다.

어드밴스드 마이크로 디바이시스(AMD)에서 클라우드 제품 및 시장전략을 맡고 있는 마이크 톰프슨은 구글 클라우드 넥스트 2026 현장에서 “올해 가장 큰 변화는 AI, 특히 추론 확산에 따른 컴퓨팅 수요 증가”라며 “지난 수년간은 모델 학습이 시장을 이끌었지만, 이제는 완성된 모델을 실제 서비스에 적용하는 단계로 넘어가면서 클라우드와 온프레미스 전반에서 컴퓨트 수요가 급증하고 있다”고 말했다.

그는 실리콘앵글 미디어의 라이브 스트리밍 채널 더큐브(theCUBE) 인터뷰에서 세이버의 시니어 핀옵스 엔지니어 팀 맥아들과 함께 기업들의 인프라 비용 관리 전략을 설명했다. 두 사람은 AMD 기반 x86 서버의 효율 개선과 핀옵스(FinOps) 운영, 그리고 절감한 인프라 예산을 AI 프로젝트에 다시 투입하는 흐름을 소개했다.

‘대시보드’만으로는 한계… 플랫폼 선택이 비용 곡선 바꾼다

업계에서는 AI 확산으로 클라우드 사용량이 증가하는 상황에서 단순한 모니터링이나 거버넌스 도구만으로는 비용 통제가 어렵다고 보고 있다. 실제 비용 구조를 바꾸려면 어떤 플랫폼과 인프라 아키텍처를 선택하느냐가 더 중요해졌다는 의미다.

톰프슨은 많은 기업이 서버를 평균 10% 수준의 낮은 활용률로 운영하고 있다고 짚었다. 여기에 여러 아키텍처를 혼합해 운영하면 비효율이 더 커질 수 있다고 설명했다. 그는 특히 x86이 온프레미스와 클라우드 전반에 폭넓게 깔려 있는 표준 구조라는 점에서, 하이브리드 환경에서 워크로드를 옮기기 쉽고 운영 복잡도를 낮출 수 있다고 강조했다.

톰프슨은 “대부분 대기업 고객은 자체 데이터센터와 클라우드를 함께 쓰고 있다”며 “컨테이너 환경에서는 필요한 요소를 묶어 손쉽게 옮길 수 있는데, x86은 온프레미스와 클라우드 간 이동이 특히 수월하다”고 말했다. 이어 “Arm 기반 서버는 온프레미스에서 같은 수준으로 확보되지 않는 경우가 많아, 하이브리드 컨테이너 운영 측면에서는 x86이 더 현실적인 선택이 되는 경우가 많다”고 덧붙였다.

세이버, AMD 기반 전환으로 5만개 가상 CPU 운용… 절감분은 AI에 재투자

실제 사례도 나왔다. 항공권 예약 기술로 잘 알려진 여행 기술 기업 세이버는 구글 클라우드에서 CPU 집약적 워크로드를 AMD 기반 인스턴스로 이전했다. 이 과정에서 5만개가 넘는 가상 CPU를 배치했으며, 코드 수정 없이 비용과 인프라 규모를 모두 줄였다고 밝혔다.

팀 맥아들은 “AMD 플랫폼으로 옮긴 뒤 가격 측면의 이점을 얻었고, 속도도 더 빨라졌으며 전체 인프라 규모도 줄었다”며 “무엇보다 코드 변경이 전혀 없었다는 점이 큰 장점”이라고 말했다. 이어 “이 절감분을 곧바로 ‘에이전틱 AI’ 같은 새로운 AI 영역에 재투자할 수 있었고, 이는 회사에 큰 도움이 됐다”고 설명했다.

세이버 사례는 기업들이 단순히 클라우드 비용을 줄이는 데 그치지 않고, 절감한 자금을 다시 AI 경쟁력 확보에 투입하는 방식으로 전략을 바꾸고 있음을 보여준다. 인프라 최적화가 이제는 비용 절감 수단을 넘어 AI 투자 재원의 원천으로 작동하고 있다는 의미다.

AI 시대 인프라 전략, ‘저렴한 소비’보다 ‘효율적 재배분’이 핵심

이번 논의는 AI 확산 국면에서 기업들의 클라우드 전략이 달라지고 있음을 시사한다. 과거에는 단순히 더 많은 자원을 확보하는 데 초점이 맞춰졌다면, 이제는 같은 예산으로 더 높은 효율을 내고 그 차익을 AI 서비스와 자동화 역량에 다시 넣는 구조가 중요해지고 있다.

특히 AI 학습에서 추론 중심으로 무게가 옮겨가면서, 앞으로는 대규모 연산 능력뿐 아니라 지속 가능한 운영 비용 관리가 기업 경쟁력을 가르는 핵심 요소가 될 가능성이 크다. 하이브리드 클라우드와 핀옵스 전략, 그리고 x86 기반 인프라 효율화가 함께 주목받는 배경도 여기에 있다.

한편 이번 인터뷰가 진행된 더큐브 방송 세그먼트는 AMD의 후원을 받았다. 다만 실리콘앵글은 후원사가 편집 내용에 관여하지 않는다고 밝혔다.