AI 추론 칩을 개발하는 스타트업 그록(Groq)이 7억 5,000만 달러(약 1조 800억 원)의 신규 투자금을 유치하며 시장 주목을 받고 있다. 이번 투자 라운드는 데이터브릭스(Databricks)를 지원한 디스럽티브(Disruptive)가 주도했으며, 시스코시스템즈(CSCO), 삼성전자, 도이치텔레콤 캐피털 파트너스 등 유수의 글로벌 투자사들이 참여했다. 그록의 기업 가치는 이번 투자 유치를 통해 기존 28억 달러에서 69억 달러(약 9조 9,000억 원)로 두 배 이상 증가했다.

그록의 주력 제품은 ‘언어 처리 유닛(Language Processing Unit, LPU)’이라는 AI 추론 전용 칩이다. 회사 측에 따르면 이 칩은 경쟁사 GPU보다 에너지 효율이 최대 10배 높으며, 자사의 고유한 아키텍처 및 컴파일러 기술 덕분에 이러한 성과가 가능하다고 강조한다. 일반적으로 AI 추론을 수행하는 데 있어 프로세서 내 수많은 연산장치를 동기화하는 데 상당한 자원이 소비되는데, 그록의 칩은 이 오버헤드를 획기적으로 줄인 것이 강점이다.

특히 그록은 1조 개의 매개변수를 가진 AI 모델을 구동할 수 있다고 주장할 정도로 LPU의 성능에 자신감을 보이고 있다. 성능 향상을 이끄는 중심 기술은 자체 개발한 컴파일러다. 이 컴파일러는 추론이 실행되기 전, 각 회로에 최적화된 작업 분담을 사전에 계산해 실시간 오버헤드를 줄인다. 더불어 ‘리얼스케일(RealScale)’이라고 불리는 고급 양자화 기술을 통해 신경망 모델의 품질 손실 없이 메모리 효율까지 개선한다.

또한 이 칩은 결정론적 아키텍처를 갖고 있어, 시스템 운영자가 특정 연산이 소요될 시간을 클럭 사이클 단위로 정밀히 예측할 수 있다는 점도 특징이다. 이 같은 예측 가능성은 고성능 최적화에 큰 도움이 된다. 그록은 자사 칩을 하나의 프리패키지 시스템인 ‘그록랙(GroqRack)’으로 구성해 판매하고 있다. 이 제품은 9개의 서버로 구성되며, 외부 네트워크 장비 요구사항이 적고 데이터 센터 인프라를 대폭 손대지 않고도 설치가 가능하다는 점에서 경쟁력을 갖췄다.

그록은 클라우드 기반 접속 플랫폼 ‘그록클라우드(GroqCloud)’도 운영 중이다. 이 플랫폼을 통해 고객은 API를 활용해 LPU 기반 AI 모델을 직접 활용할 수 있다. 이번 투자금은 이 클라우드 인프라 확장에 집중적으로 투입될 예정이다.

AI 반도체 시장의 경쟁 열기는 더욱 고조되고 있다. 최근 실리콘밸리의 AI 칩 스타트업 리보스(Rivos)도 5억 달러(약 7,200억 원) 규모의 신규 투자 라운드를 추진 중이라는 보도가 나오며, 추론 특화 칩 분야에서의 주도권 다툼이 격화되는 양상이다. 그록이 선보인 기술과 확장 전략이 이러한 시장 변화에 어떤 파급력을 가질지 주목된다.