구글, 제미나이 온프레미스 확장…기업 AI 인프라 ‘통제권 vs 성능’ 갈등 풀리나

생성형 AI를 넘어 스스로 작업을 수행하는 ‘에이전트형 AI’ 시대가 열리면서 기업 인프라의 설계 기준도 빠르게 바뀌고 있다. 특히 규제 산업과 정부 기관, 데이터 주권 요구가 강한 기업들은 민감한 데이터를 외부로 보내지 않으면서도 최신 AI 모델을 내부 환경에서 구동할 수 있는 ‘AI 준비형’ 인프라를 요구하고 있다.

구글은 이런 수요에 맞춰 온프레미스 환경에서도 자사 AI 모델과 클라우드 기술을 활용할 수 있도록 인프라 전략을 확장하고 있다. 무닌더 삼비 구글 네트워킹·보안 부문 부사장 겸 총괄은 최근 구글 클라우드 넥스트 행사에서 “기업들은 그동안 주권과 규제를 지키거나, 이를 포기하고 클라우드로 가야 하는 선택지 사이에 놓여 있었다”며 “구글 분산형 클라우드는 온프레미스 환경에 제미나이와 구글의 AI 역량을 가져오는 해법”이라고 설명했다.

제미나이, 엔비디아·델과 손잡고 내부망까지 확장

구글은 엔비디아($NVDA), 델 테크놀로지스($DELL)와 협력해 공공 인터넷과 분리된 ‘에어갭’ 환경과 연결형 온프레미스 환경 모두에서 제미나이 기반 모델을 구동할 수 있도록 지원하고 있다. 특히 제미나이 플래시 모델은 엔비디아 블랙웰 B200·B300 GPU 기반 온프레미스 배포를 지원하게 됐다. 기업 입장에서는 데이터가 외부로 나가지 않는 상태에서 ‘주권형 AI’ 워크로드를 운영할 수 있게 되는 셈이다.

삼비 부사장은 이를 두고 단순한 ‘AI 팩토리’가 아니라 기업이 자체 AI 생산 체계를 만들 수 있는 ‘AI 엔진’을 제공하는 것이라고 강조했다. 이는 클라우드 사용이 어려운 금융, 의료, 국방, 공공 부문에서 특히 주목할 만한 변화다.

쿠버네티스, AI 시대의 사실상 운영체제로 부상

온프레미스 AI 인프라 확대와 함께 쿠버네티스의 역할도 더 커지고 있다. 드루 브래드스톡 구글 쿠버네티스·구글 컴퓨트 엔진 부문 수석 제품 디렉터는 쿠버네티스가 이제 학습, 추론, 강화학습까지 아우르는 AI의 ‘운영체제’ 역할을 맡고 있다고 평가했다.

그는 대규모언어모델 확산 초기만 해도 쿠버네티스가 AI 핵심 제어면으로 자리 잡을지는 불확실했지만, 오픈소스 생태계가 AI 친화적으로 빠르게 진화하면서 하이브리드 환경 전반에서 에이전트를 운영하는 기반으로 자리 잡았다고 설명했다. 기업들이 여러 환경에 걸쳐 AI 서비스를 배치하려는 상황에서 쿠버네티스의 표준화 효과가 다시 부각되는 흐름이다.

이제 사용자도 사람만이 아니다

에이전트형 AI 확산은 인프라 운영 방식뿐 아니라 제품 설계 철학도 바꾸고 있다. 브래드스톡 디렉터는 이제 개발자 경험의 중심이 반드시 사람만은 아니라고 짚었다. AI 에이전트가 코드 작성과 운영 업무를 상당 부분 대신하면서, 문서와 인터페이스, 도구 자체를 ‘에이전트가 읽고 활용하기 좋은 구조’로 다시 설계하고 있다는 것이다.

그는 “새로운 데브옵스는 클로드와 제미나이를 활용해 업무를 처리하고 있다”며 사용자환경과 문서, 각종 도구가 모두 ‘스킬’ 중심으로 재편되고 있다고 말했다. 이는 앞으로 기업용 소프트웨어가 사람을 위한 UI를 넘어, AI 에이전트가 직접 호출하고 실행할 수 있는 구조로 발전할 가능성을 시사한다.

핵심은 ‘통제권 유지’와 ‘성능 확보’의 동시 달성

이번 변화의 핵심은 기업이 더 이상 데이터 통제권과 AI 성능 사이에서 하나만 선택하지 않으려 한다는 점이다. AI 준비형 인프라는 이제 단순한 서버 증설이 아니라, 데이터 주권, GPU 연산 자원, 모델 배포, 거버넌스, 오케스트레이션을 하나로 묶는 종합 설계 문제로 바뀌고 있다.

시장 관점에서 보면 구글의 이번 전략은 클라우드 기업들이 온프레미스와 하이브리드 영역까지 다시 깊게 파고들고 있음을 보여준다. 기업 AI 도입이 본격화할수록 승부처는 단순 모델 성능이 아니라, 얼마나 안전하고 유연하게 현장에 배치할 수 있는지로 이동하는 모습이다.