기업 AI, ‘시연’ 넘어 ‘현장 배치’ 경쟁… IBM “성패는 인프라”

기업들의 인공지능 도입이 빨라지면서 관심도 ‘실험’ 단계에서 실제 서비스와 업무 전반에 적용하는 대규모 배치로 옮겨가고 있다. 이 과정에서 핵심 과제로 떠오른 것은 단순한 모델 성능이 아니라, AI 에이전트와 대규모언어모델(LLM), 현대적 개발 환경을 안정적으로 떠받칠 수 있는 ‘엔터프라이즈 AI 아키텍처’다.

IBM의 이그나시오 리에스고(Ignacio Riesgo) 수석 디렉터는 2026 레드햇 서밋 현장에서 가진 인터뷰에서 “1년 전만 해도 핵심 화두는 현대화였지만, 이제는 에이전트와 LLM이 대화의 중심이 됐다”며 “논의의 수준과 복잡성이 완전히 다른 단계로 올라섰다”고 말했다.

이번 발언은 실리콘앵글의 라이브 플랫폼 더큐브(theCUBE)와의 인터뷰에서 나왔다. 리에스고와 제이슨 맥기(Jason McGee) IBM 펠로우 겸 IBM 클라우드 최고기술책임자(CTO)는 기업 AI 배치가 본격화되면서 보안, 확장성, 기존 시스템 연동이 한층 더 중요한 의제로 부상했다고 진단했다.

개발자·CIO·데브옵스, AI 과제도 서로 다르다

IBM에 따르면 기업 내부에서도 AI를 바라보는 우선순위는 역할에 따라 확연히 갈린다. 개발자는 어떤 도구를 선택할지에 집중하고, 최고정보책임자(CIO)는 보안과 통제에 더 민감하다. 데브옵스 팀은 AI 에이전트가 기존 애플리케이션과 어떻게 연결될지 고민해야 한다.

다만 공통점도 있다. AI 확산 속도가 워낙 빨라지면서 기술 조직 전반이 기존 우선순위를 다시 짜고 있다는 점이다. 특히 단순한 개념검증(PoC)만으로는 기업 현장에서 의미 있는 성과를 내기 어렵고, 실제 운영 환경에서 안정적으로 돌아가는 구조를 갖춰야 한다는 요구가 커지고 있다.

GPU만의 문제가 아니다… AI 에이전트가 CPU 부담도 키운다

맥기는 AI 인프라 논의가 이제 GPU 확보를 넘어 전체 컴퓨팅 구조 재설계로 확장되고 있다고 설명했다. 그는 과거에는 CPU 1개당 GPU 8개 수준으로 논의되던 자원 비중이, 지금은 ‘1대 1’에 가까울 정도로 빠르게 바뀌고 있다고 짚었다.

그 배경에는 AI 에이전트가 있다. AI 에이전트는 작업을 수행하는 과정에서 대량의 API 호출과 각종 도구 호출을 발생시키는데, 이 과정이 백엔드 시스템과 전통적인 컴퓨팅 자원에 더 큰 부하를 준다는 의미다. 다시 말해 AI가 단순히 새로운 서비스를 더하는 수준을 넘어, 기업의 전체 인프라 스택을 압박하고 있다는 것이다.

이는 엔터프라이즈 AI 아키텍처가 단순한 클라우드 확장 문제가 아니라는 점도 보여준다. 클라우드뿐 아니라 온프레미스 환경, 메인프레임, 전력 효율이 중요한 시스템까지 함께 고려해야 진짜 운영 가능한 AI 배치가 가능하다는 설명이다.

IBM, 오픈시프트 가상화 관리형 서비스로 ‘전통 IT’와 연결

IBM은 이런 수요에 대응하기 위해 IBM 클라우드에서 완전관리형 오픈시프트 가상화 서비스를 발표했다. 이는 기존 IT 환경과 컨테이너 기반 플랫폼을 연결하는 역할을 겨냥한 것으로 해석된다. 최근 AI 에이전트는 주로 컨테이너 환경에서 개발·운영되는 만큼, 레거시 시스템과의 매끄러운 연결이 실제 기업 도입의 핵심 변수가 되고 있기 때문이다.

맥기는 “‘재미있는 파일럿’과 조직에 실질적 변화를 주는 도입의 차이는, 실제 환경에서 전체 팀과 함께 배치할 수 있느냐에 달려 있다”고 말했다. 결국 AI 프로젝트의 성공 여부는 데모가 아니라 현업 시스템에 안전하게 얹을 수 있는지, 그리고 운영 과정에서 확장성과 복원력을 유지할 수 있는지에 의해 결정된다는 의미다.

기업 AI 경쟁, 이제는 ‘현장 배치 능력’이 승부처

이번 IBM의 메시지는 기업 AI 경쟁이 모델 시연 단계에서 실제 배치 경쟁으로 넘어가고 있음을 보여준다. AI 에이전트와 LLM 활용이 늘어날수록 인프라 부담은 더 커지고, 보안과 운영 안정성의 중요성도 함께 높아질 가능성이 크다.

결국 앞으로의 승부처는 누가 더 화려한 AI 기능을 내놓느냐보다, 그 기능을 기업 환경에 맞게 안전하고 확장 가능하게 구현하느냐에 달려 있다는 해석이 나온다. 엔터프라이즈 AI 아키텍처는 이제 선택이 아니라, 대규모 AI 전환을 위한 기본 조건으로 자리잡는 분위기다.