AI 운영 비용·보안 부담 커지자… 기업들 ‘프라이빗 클라우드’로 다시 눈돌려

생성형 인공지능(AI) 확산에 private cloud가 다시 기업 인프라의 중심으로 떠오르고 있다. 핵심은 단순한 워크로드 위치가 아니라 ‘비용 통제’, ‘보안’, ‘거버넌스’, 그리고 AI를 기업 데이터 가까이에서 운영해야 한다는 현실이다.

브로드컴($AVGO)은 최근 VMware Cloud Foundation(VCF) 전략을 앞세워 이런 수요를 정조준하고 있다. 기업들은 퍼블릭 클라우드의 유연성을 활용하면서도, AI 추론을 대규모로 돌릴 때 발생하는 비용 부담과 데이터 통제 문제를 동시에 따지고 있다. 브로드컴의 VMware Cloud Foundation 부문 최고제품책임자 폴 터너는 “AI는 기회인 동시에 비용과 리스크를 키우는 요인”이라며, AI를 돌리는 플랫폼 자체가 더 강력하고 효율적이어야 한다고 설명했다.

AI 도입이 private cloud의 경제성을 다시 부각

기업들의 고민은 이제 ‘어떤 모델을 쓸 것인가’에서 ‘실제 운영 환경에서 어떻게 안전하고 저렴하게 돌릴 것인가’로 옮겨가고 있다. 초기 학습과 실험은 여전히 퍼블릭 클라우드에 기대는 경우가 많지만, 일상적인 운영 단계에 들어간 AI는 계산식이 달라진다. 토큰 사용 비용이 누적되고, 데이터가 기업 내부 시스템에 묶이는 ‘데이터 중력’ 문제가 커지며, 규제 준수도 경영진이 직접 챙겨야 할 사안이 되기 때문이다.

브로드컴의 VMware Cloud Foundation 부문 최고마케팅책임자 프라샨스 셰노이는 지난해 private cloud 전망 조사에서 이미 ‘클라우드 리셋’ 조짐이 있었고, 올해는 그 흐름이 더 뚜렷해졌다고 전했다. 전 세계 IT 리더와 의사결정권자 1,800명을 대상으로 한 조사에서 많은 기업이 AI 프로젝트를 시험 단계에서 실제 운영 단계로 옮기고 있는 것으로 나타났다는 설명이다. 이는 private cloud가 더 이상 보조 선택지가 아니라, 핵심 업무와 AI 애플리케이션을 함께 수용하는 실전형 인프라로 재평가받고 있음을 보여준다.

비용 측면에서도 변화는 뚜렷하다. AI 워크로드가 파일럿 단계를 넘어 일상 시스템에 편입되면 메모리 계층화, GPU 활용률, 가상머신과 컨테이너의 공동 운영 효율이 직접적인 경쟁력으로 이어진다. 터너는 인프라 효율 개선이 곧 AI 도입 속도를 높이는 지렛대가 되고 있다고 강조했다. 결국 AI 시대의 private cloud는 ‘더 폐쇄적인 선택’이 아니라, 더 계산적인 선택에 가까워졌다는 의미다.

‘AI 주권’이 인프라 전략의 핵심 의제로 부상

private cloud가 주목받는 또 다른 이유는 ‘AI 주권’이다. 이제 기업과 공공기관은 단순히 데이터를 내부에 두는 것만으로는 충분하지 않다고 본다. 데이터가 저장되고 처리되는 ‘데이터 플레인’뿐 아니라, 시스템을 통제하는 ‘컨트롤 플레인’까지 스스로 통제해야 한다는 요구가 커지고 있다.

브로드컴의 VMware Cloud Foundation 부문 AI 및 고급 서비스 총괄 크리스 울프는 많은 고객이 인터넷 연결이 끊겨도 운영을 지속할 수 있는 환경을 원한다고 설명했다. 이는 지정학적 긴장, 규제 강화, 사이버 공격 증가가 겹치며 나타난 변화다. 특히 AI가 업무 프로세스 전반으로 퍼질수록 감사 추적, 접근 통제, 운영 연속성이 단순한 기술 이슈를 넘어 경영 리스크 관리 문제로 바뀌고 있다.

캐나다 클라우드 서비스 기업 싱크온의 사례는 이를 잘 보여준다. 싱크온 창업자 겸 최고경영자 크레이그 맥렐런은 공공 부문과 규제 산업에서는 AI 주권이 추상적인 정책 구호가 아니라 실제 배포 조건이라고 말했다. 데이터 분류, 접근 권한, 모델 선택, 신뢰 가능한 private cloud 환경이 모두 요구된다는 뜻이다. 그는 한발 더 나아가 ‘모델 주권’도 중요해졌다고 짚었다. 실제로 싱크온은 브로드컴과 협력해 코히어 모델을 private cloud 환경에 탑재했고, 이를 통해 캐나다 공공 부문에 데이터·경제·운영 통제를 모두 제공할 수 있다고 설명했다.

결국 관건은 실행력… ‘쉽고 안전한 운영’이 성패 가른다

AI 전략을 세우는 일보다 더 어려운 것은 실제 사용자에게 안전하고 반복 가능하며 쉬운 경험을 제공하는 일이다. 맥렐런은 고객이 복잡한 요구를 가져오더라도 결국 원하는 것은 ‘쉬운 버튼’이라고 표현했다. AI 인프라가 복잡할수록, 사용자 입장에서는 간단하고 안전하게 작동해야 한다는 의미다.

이 때문에 시장의 관심도 GPU 확보 자체에서 운영 스택 전반으로 옮겨가고 있다. 어떤 모델을 올릴지, 민감 데이터를 어떻게 분리할지, 누가 어떤 권한으로 접근할지, 장애와 보안 사고가 발생했을 때 어떻게 복구할지까지 포함한 총체적 설계가 중요해졌다. 기업들이 private cloud를 다시 보는 이유도 여기에 있다. AI를 운영하는 데 필요한 통제력과 단순성을 동시에 확보할 수 있는 기반으로 보기 때문이다.

제조업 사례가 보여준 현실… 보안과 운영 자동화가 핵심

미국 제조기업 샬럿 파이프 앤드 파운드리의 사례는 이러한 흐름이 특정 업종에만 국한되지 않음을 보여준다. 125년 역사의 이 업체는 새로운 유행을 좇기보다, 워크로드 이동성, 보안, 기존 핵심 애플리케이션을 대규모 재개발 없이 현대화할 수 있는지에 초점을 맞췄다. 서버 운영 담당 로드니 반하트는 HCX 기반 마이그레이션과 vDefend 기반 마이크로세그멘테이션이 VMware Cloud Foundation 도입의 핵심 배경이었다고 설명했다.

특히 마이크로세그멘테이션은 공격자가 내부에 침투하더라도 서버 간 횡적 이동을 제한해 피해 확산을 낮추는 데 도움이 된다. AI가 더 많은 시스템과 연결되고 민감한 운영 데이터에 접근하게 될수록 이런 통제 장치는 더욱 중요해진다. 반하트는 필요한 포트만 열어두고 원격 데스크톱 프로토콜(RDP) 같은 접근을 제한하면 위협 표면을 줄일 수 있다고 말했다.

운영 측면의 장점도 있다. 패치와 업그레이드, 취약점 대응을 자동화하면 IT팀의 수작업 부담을 줄이고 대응 속도를 높일 수 있다. 다만 그는 전환 전에 하드웨어 호환성 목록(HCL)과 현재 환경을 반드시 점검해야 한다고 조언했다. 사전 준비가 부족하면 업그레이드나 이전 과정에서 일정 지연이 발생할 수 있어서다.

종합하면, 생성형 AI 확산은 private cloud의 역할을 다시 키우고 있다. 퍼블릭 클라우드가 사라지는 것은 아니지만, 실제 운영 단계의 AI는 비용, 보안, 주권, 거버넌스 측면에서 다른 해법을 요구한다. 브로드컴이 VMware Cloud Foundation을 내세우는 것도 이런 변화에 맞춘 전략으로 읽힌다. 결국 기업 인프라의 승부처는 ‘어디서 AI를 돌릴 것인가’보다 ‘어떻게 안전하고 효율적으로 계속 돌릴 것인가’에 가까워지고 있다.