AI 추론 수요가 폭발적으로 증가함에 따라 전 세계 데이터센터의 확장 바람이 거세지고 있다. 단순 연산을 넘어 코드 생성과 적응형 에이전트 모델을 실시간으로 처리할 수 있어야 하는 시대에 접어들면서, 기존 데이터 인프라 구조에 대한 근본적인 변화가 요구되고 있다.

Cerebras Systems의 창업자 겸 CEO인 앤드루 펠드먼은 최근 뉴욕증권거래소(NYSE)에서 열린 ‘AI 공장: 미래의 데이터센터’ 이벤트에서, “사용자들은 이제 10초, 30초, 심지어 1~2분조차 기다리려 하지 않는다”며 “더 빠른 추론 처리 능력에 대한 수요가 폭발적으로 증가하고 있다”고 밝혔다.

이러한 흐름 속에서 Cerebras는 미국 오클라호마시티에 자사의 다섯 번째 데이터센터를 새로 열었다. 해당 시설은 10메가와트 규모로, 개소 직후부터 추가 확장에 돌입할 만큼 초기 수요가 뜨거웠다. 펠드먼은 “오픈하자마자 곧바로 확장에 들어갔다”며 “데이터센터 입지로 글로벌 옵션도 검토하고 있다”고 말했다.

AI 추론 수요 증가는 단순히 특정 산업군에 국한되지 않는다. 오픈AI와 Anthropic, IDE(통합 개발 환경) 툴 기업 등 다양한 분야에서 일제히 컴퓨팅 자원 증설을 요구하고 있다. 펠드먼은 이를 “애플리케이션 층에서 시작해 소프트웨어 개발사에까지 밀려드는 거대한 물결”이라고 표현했다. 이 흐름은 공급망 전반에도 영향을 미치면서, 데이터센터 구축과 컴퓨팅 아키텍처 혁신을 재촉하고 있다.

특히, 기존의 GPU 기반 분산 연산 방식을 둘러싼 회의감도 커지고 있다. 펠드먼은 “문제를 수천 개의 GPU에 분산하면 통신 오버헤드가 발생하고, 오류 가능성도 기하급수적으로 늘어난다”고 지적했다. 실제로 1만~1만5천 개 이상의 GPU를 이용한 학습은 소수 글로벌 테크 대기업만이 감당할 수 있다. 이에 Cerebras는 "산업 최대 규모의 단일 칩"을 개발해, 데이터를 칩 내부에 더 많이 유지하고 불필요한 이동을 줄이는 방식으로 문제를 해결하고자 한다. 이를 통해 전력 사용량을 줄이면서도 추론 속도는 대폭 단축할 수 있다는 게 기업 측 설명이다.

전문가들은 이 같은 변화가 일시적인 과열 현상이 아니라, AI 기반 산업 구조의 장기적 전환 신호로 보고 있다. 기존 데이터 아키텍처는 변화를 예고하고 있으며, 추론 중심 시대에 발맞춘 새로운 설계 방향이 요구되고 있다. AI 인프라의 본질마저 새롭게 정의되고 있는 셈이다.