AI 에이전트 시대, 기업 인프라의 '클라우드 의존' 재편된다

에이전트형 인공지능 확산으로 기업 인프라의 설계 원칙이 근본부터 바뀌고 있다. 클라우드만으로는 더 이상 충분하지 않다는 판단 아래, 규제 산업과 정부 기관, 데이터 주권 요구가 높은 기업들은 자사 데이터센터 안에서 최첨단 AI 모델을 직접 돌릴 수 있는 ‘AI 준비형 인프라’ 구축에 속도를 내고 있다.

실리콘앵글은 23일(현지시간) 구글 클라우드 넥스트 2026 현장에서 구글(GOOGL) 클라우드 네트워킹·보안 부문 총괄 부사장 무닌더 샴비와 쿠버네티스·구글 컴퓨트 엔진 수석 제품 디렉터 드루 브래드스톡의 발언을 인용해, 기업들이 이제 성능과 데이터 통제권 가운데 하나만 선택하던 시대에서 벗어나고 있다고 전했다.

샴비는 기업 고객들이 그동안 ‘주권’과 ‘클라우드 역량’ 사이에서 양자택일을 강요받아 왔다고 진단했다. 그러면서 구글 분산형 클라우드를 통해 제미나이 모델과 구글의 AI 기능을 온프레미스 환경으로 가져와, 데이터 통제권을 유지한 채 생성형 AI와 에이전트형 AI를 운영할 수 있도록 지원하고 있다고 설명했다.

이번 전략의 핵심은 온프레미스 AI 인프라 고도화다. 구글은 엔비디아(NVDA), 델 테크놀로지스(DELL)와 협력해 인터넷과 물리적으로 분리된 에어갭 환경은 물론 연결형 사내 데이터센터에서도 제미나이 기반 모델을 구동할 수 있도록 하는 방안을 제시했다. 또한 제미나이 플래시 모델이 엔비디아 블랙웰 B200·B300 그래픽처리장치(GPU)에서 온프레미스 배포를 지원하게 됐다고 밝혔다. 이는 민감한 데이터가 외부로 나가지 않는 상태에서 ‘소버린 AI’ 수요를 충족시키려는 포석으로 읽힌다.

샴비는 이를 두고 단순한 ‘AI 팩토리’가 아니라 기업이 각자 목적에 맞는 AI 생산 체계를 구축할 수 있게 해주는 ‘AI 엔진’이라고 표현했다. 하드웨어 가속기부터 모델 실행 환경까지 한꺼번에 제공해, 기업 내부에서 독자적인 AI 시스템을 조립할 수 있도록 하겠다는 구상이다.

인프라 운영의 중심축으로는 쿠버네티스가 부상했다. 브래드스톡은 대규모 언어모델이 빠르게 확산하던 초기만 해도 쿠버네티스가 AI 인프라의 표준 제어면으로 자리 잡을지 불확실했지만, 오픈소스 생태계가 AI 친화적 기능을 꾸준히 보강하면서 이제는 학습, 추론, 강화학습까지 아우르는 사실상의 운영체제로 기능하고 있다고 말했다.

특히 하이브리드 환경에서 여러 AI 에이전트를 동시에 운영해야 하는 기업들에겐 쿠버네티스의 역할이 더 커지고 있다. 퍼블릭 클라우드와 온프레미스, 엣지 환경이 혼재된 상황에서는 워크로드를 일관되게 배포하고 통제하는 플랫폼이 필수인데, 쿠버네티스가 그 요구를 가장 폭넓게 수용하고 있다는 평가다. 업계에서는 향후 AI 인프라 경쟁력이 모델 성능뿐 아니라 이를 얼마나 안정적으로 배치·관리·거버넌스할 수 있느냐에 달려 있다는 분석도 나온다.

구글의 시선은 개발자 경험 자체에도 변화를 요구하고 있다. 브래드스톡은 이제 사용자 경험의 ‘북극성’이 더 이상 사람만을 향하지 않는다고 강조했다. AI 에이전트가 개발과 운영 업무의 상당 부분을 대신 수행하기 시작하면서, 문서와 사용자 인터페이스, 각종 툴 설계도 인간 개발자뿐 아니라 에이전트가 소비하고 실행하기 좋은 형태로 재편되고 있다는 설명이다.

이는 DevOps 개념의 재정의를 예고한다. 실제로 현장에선 클로드나 제미나이 같은 생성형 AI를 활용해 코드 작성과 테스트, 배포 자동화를 수행하는 사례가 빠르게 늘고 있다. 결국 차세대 엔터프라이즈 인프라는 단순히 GPU를 더 많이 확보하는 경쟁이 아니라, AI 에이전트가 자연스럽게 작동할 수 있는 컴퓨팅·스토리지·보안·거버넌스 체계를 얼마나 정교하게 갖추느냐의 경쟁으로 이동하는 모습이다.

이번 발언은 기업 인프라 시장의 무게중심이 다시 온프레미스로 일부 이동하고 있음을 보여준다. 클라우드가 모든 문제를 해결할 것이라는 기존 가정이 흔들리는 가운데, ‘AI 준비형 인프라’와 ‘소버린 AI’는 앞으로 주요 IT 투자 판단의 핵심 기준으로 자리잡을 가능성이 커 보인다. 구글은 쿠버네티스를 축으로 클라우드와 데이터센터를 잇는 하이브리드 청사진을 제시했고, 이는 에이전트형 인공지능 시대의 새로운 인프라 표준 경쟁을 더욱 가속화할 전망이다.