차세대 인공지능 개발 경쟁이 치열해지면서, 클라우드 인프라의 기준도 빠르게 변화하고 있다. 특히 ‘네오클라우드(Neocloud)’로 불리는 새로운 형태의 인프라가 주목받으며, 데이터센터 설계의 판도를 바꾸고 있다. 이 구조는 대규모 AI 모델의 훈련과 추론을 각각 최적화할 수 있는 이중 구조를 갖춘 것이 특징으로, 컴퓨팅 효율성과 비용 절감을 동시에 실현할 수 있다는 점에서 클라우드 시장의 게임체인저로 부상하고 있다.

서라스케일 클라우드 서비스(Cirrascale Cloud Services)의 CEO이자 CTO를 맡고 있는 데이브 드리거스(Dave Driggers)는 지난 2025년 ‘AI 팩토리 - 미래의 데이터센터’ 행사에서, 네오클라우드가 어떻게 AI 워크로드를 위한 맞춤형 인프라 역할을 하는지 설명했다. 그는 “모든 AI 모델이 동일하지 않다”며, “대규모 모델의 훈련에는 고성능 하드웨어가 필수지만, 추론 단계에서는 저지연, 비용 효율, 지역 확산이 보다 중요하다”고 강조했다.

기존 인프라와 네오클라우드가 가장 크게 갈리는 지점은 GPU 활용 방식에 있다. 엔비디아(NVDA)가 빠른 주기로 AI 전용 GPU를 출시함에 따라, 고성능 GPU는 훈련에 사용된 후 일정 시간이 지나면 감가상각되어 추론에 재활용된다. 드리거스는 바로 이 점이 네오클라우드 전략의 핵심이라고 설명한다. 그는 “하드웨어 장비는 수명 주기 내 두 번의 역할을 한다”며, “초기에는 훈련용으로, 이후에는 추론용으로 전환돼 경제적이면서도 효율적인 운영이 가능하다”고 말했다.

특히 기업 입장에서 이러한 이중 구조는 내부 인프라 구축의 부담을 크게 덜어준다. 대규모 실시간 추론 시스템을 자체적으로 구축하려면 상당한 자원과 고급 운용 기술이 필요하지만, 네오클라우드 공급자는 이러한 기능을 최적화된 방식으로 외부에서 제공할 수 있다. 드리거스는 “훈련은 때때로 한 명의 엔지니어가 수천 개의 GPU를 통제할 수 있지만, 추론 단계에선 네트워크 장애 하나도 비즈니스 위기로 이어질 수 있다”고 설명했다.

네오클라우드는 AI 시대에 맞춘 ‘전문화된, 수직 통합된 인프라’로 정의된다. 단순히 컴퓨팅 리소스를 제공하는 데 그치지 않고, GPU 자원의 생애주기를 재설계하고, 하드웨어의 쓰임새를 변화시키며, 기업이 자체적으로 구현하기 어려운 인프라 혁신을 외부에서 구현해주는 점이 핵심이다. 드리거스는 “우리의 요구는 장비를 재활용용으로 설계하는 것”이라며, “융통성 있는 장비 운용이 AI 비즈니스의 지속성과 직결된다”고 덧붙였다.

AI 모델의 크기와 사용 목적에 따라 하드웨어 요구조건이 극단적으로 달라지는 상황에서, 네오클라우드는 그 간극을 메우는 구조적 해법이다. 대규모 AI 투자가 지속되면서, 이와 같은 이중 구조 인프라의 필요성은 갈수록 커질 전망이다. 네오클라우드는 단순히 기술 혁신을 넘어, AI 경제성의 근간이 되는 새로운 생태계를 구성하고 있다.