AI 예산 빨리 마르는 기업들…AMD “노후 서버 교체·통합이 해법”

AI 예산이 해마다 더 빨리 바닥나면서 기업들이 ‘같은 돈으로 더 많은 AI’를 돌릴 방법을 찾고 있다. AMD는 데이터센터 현대화와 서버 통합이 그 해법이 될 수 있다고 강조했다.

AMD의 마이크 톰프슨은 최근 핀옵스 X 2026 행사에서 기업들의 AI 수요는 계속 늘고 있지만 총예산은 제한돼 있어 인프라를 다시 설계하는 흐름이 빨라지고 있다고 말했다. 핀옵스 재단의 ‘스테이트 오브 핀옵스 2026’ 보고서에 따르면 응답자의 98%가 현재 AI 지출을 관리하고 있었지만, 상당수 기업은 여전히 AI 워크로드에 당초 계획보다 4~5배 많은 비용을 쓰고 있는 것으로 나타났다.

그는 특히 에이전트형 AI와 추론 워크로드 확산이 예산 압박을 키우고 있다고 짚었다. 새로운 AI 서비스를 도입해야 하지만 추가 예산 확보는 쉽지 않아, 기업들이 노후 장비와 비효율적인 운영 구조를 먼저 손보는 방향으로 움직이고 있다는 설명이다. 톰프슨은 “이제는 무작정 토큰 사용량을 늘리는 시대가 끝나가고 있다”며 “연초 1~2개 분기 안에 예산이 소진되는 경우가 많다”고 말했다.

노후 서버 교체로 AI 투자 여력 확보

짐 그린 AMD 서버 제품 마케팅 총괄은 현재 많은 기업이 6~7년 된 서버를 계속 쓰고 있으며, 이런 장비로는 최신 AI 워크로드를 제대로 감당하기 어렵다고 말했다. 그는 AMD 에픽(EPYC) 기반 서버 1대로 구형 서버 8대를 대체할 수 있는 사례도 있다며, 전력 사용량과 랙 공간, 소프트웨어 라이선스 비용을 함께 줄일 수 있다고 설명했다.

이는 단순한 하드웨어 교체를 넘어 AI 예산 확보와 직결된다는 게 AMD의 주장이다. 오래된 서버 여러 대를 유지하는 대신 고성능 서버로 통합하면 전기료와 운영비를 줄일 수 있고, 그렇게 절감한 자금을 새 AI 프로젝트에 투입할 수 있다는 논리다.

톰프슨은 낮은 서버 활용률도 문제로 꼽았다. 시장의 상당수 서버가 중앙처리장치(CPU)를 약 10% 수준만 사용한 채 나머지 90%는 사실상 놀리고 있다는 것이다. 이런 비효율은 전력 낭비와 운영비 상승으로 이어진다. 그는 컴퓨팅 플랫폼 선택에 따라 연간 운영비(OPEX)가 30~40% 차이 날 수 있다며, 인프라 설계 초기부터 비용 관점의 판단이 필요하다고 말했다.

x86 기반 하이브리드 클라우드가 비용 변수

AMD는 x86 아키텍처가 하이브리드 클라우드 환경에서도 강점이 있다고 보고 있다. 온프레미스와 클라우드 간 워크로드 이동이 쉬워야 예산 효율을 높일 수 있는데, x86 기반 환경은 별도 재컴파일 없이 비교적 부드럽게 확장할 수 있다는 설명이다.

그린은 일부 Arm 기반 클라우드 인스턴스가 표면적으로는 저렴해 보일 수 있지만, 실제로는 애플리케이션 이식과 이중 코드베이스 유지, 여러 운영 환경 관리 비용이 추가될 수 있다고 지적했다. 반면 x86 환경을 유지하면 관리 체계를 단순화할 수 있고, 수요가 몰릴 때 클라우드로 워크로드를 넘기는 작업도 상대적으로 수월하다고 덧붙였다.

결국 이번 발언은 AI 경쟁의 핵심이 이제 단순한 성능 확보를 넘어 ‘예산 안에서 얼마나 효율적으로 확장하느냐’로 옮겨가고 있음을 보여준다. 기업 입장에서는 AI 투자 확대 못지않게 데이터센터 현대화와 인프라 재편이 중요한 경영 과제로 떠오르는 분위기다.