AI 추론 전쟁 가속… 그로크, 1조 투자로 글로벌 주권 클라우드 승부수

인공지능 추론 시장의 경쟁이 한층 치열해지는 가운데, AI 반도체 스타트업 그로크(Groq)가 새로운 주권 클라우드 전략으로 주목을 받고 있다. 최근 7억 5,000만 달러(약 1조 800억 원)의 대규모 투자를 유치한 그로크는 AI 추론 칩 기반 기술과 자체 개발 소프트웨어 플랫폼인 '그로크클라우드(GroqCloud)'를 통해 글로벌 시장 공략에 속도를 내고 있다.

그로크는 캐나다 벨 캐나다(Bell Canada)의 네트워크를 활용해 6개 지역에 걸친 주권형 AI 인프라를 구축한 바 있으며, 이 모델을 중동과 유럽 지역에도 확대 적용하고 있다. 이와 관련해 크리스 스티븐스(Chris Stephens) 부사장은 최근 열린 ‘AI 팩토리 2025’ 행사에서 “우리는 AI 추론을 위한 컴퓨팅 센터를 마치 택배처럼 배송 가능하게 만들고 있다”고 설명했다. 그는 이어 “각국 주요 통신사들이 유사한 모델 도입에 큰 관심을 보이고 있다”고 말했다.

AI 생태계에서 추론 시장은 점점 더 중심축을 차지하고 있다. 크리스 스티븐스는 “AI 애플리케이션을 사용하는 대부분 기업과 정부, 스타트업이 수행하는 작업은 결국 ‘학습’보다 ‘추론’에 집중되고 있다”고 강조했다. 챗봇, 자동화, 고객 응대 등 실제 비즈니스 현장에서 활용되는 대부분의 AI 기능이 바로 이러한 추론 기반에서 이뤄지기 때문이다. 그는 과거 1년 반 동안 추론 시장이 독립적인 시장 영역으로 확고히 자리잡았다고 진단했다.

그로크의 경쟁력은 단순한 칩 생산을 넘어선 통합 시스템에 있다. 기존 AI 모델이 하드웨어와 소프트웨어, 컴파일러 등 각기 다른 구성요소에 대한 깊은 이해를 요구했다면, 그로크는 이를 하나의 시스템으로 패키징해 제공한다. 크리스 스티븐스는 “우리가 고객에게 제공하는 것은 단순한 칩이 아니라, 그것을 효율적으로 운용할 수 있는 전체 시스템”이라며, “GPU보다 전력 효율이 뛰어난 환경에서 대규모 데이터센터 운영이 가능하다”고 설명했다.

기존의 SAP처럼 기존 엔터프라이즈 주도 소프트웨어 기업들과, AI에 뿌리를 둔 신규 스타트업 간 경쟁은 더욱 격화될 것으로 예상된다. 크리스 스티븐스는 결국 시장이 어느 한쪽 손을 들어줄지 알 수 없지만, 그로크는 이러한 변화 속에서 확실한 위치를 확보했다는 점에서 자신감을 내비쳤다.

AI 산업이 빠르게 분화되는 와중에, 추론 중심의 접근은 그로크와 같은 기업이 장기적으로 생존하고 성장할 수 있는 길임을 입증하고 있다. 추론 중심 시스템이 AI 클라우드 패권 경쟁의 새로운 핵심으로 부상하는 만큼, 그로크의 사례는 향후 글로벌 시장 전략의 주요 참고모델로 자리잡을 가능성이 크다.