엔비디아(Nvidia)가 200억 달러(약 27조6800억원) 규모의 그록(Groq) 기술 계약 이후 그록 기반 랙을 올해 안에 온라인으로 전환할 계획이다. 저지연 AI 추론 인프라를 고객 환경에 투입하는 일정이 구체화된 것이다.
CNBC는 24일(현지시간) 엔비디아가 그록 칩 제조와 고객 공급을 서두르고 있다며 이같이 보도했다. CNBC는 이번 움직임이 AI 분야에서 낮은 지연시간의 추론 처리 능력이 커지고 있음을 보여준다고 전했다.
그록은 대규모 AI 모델이 입력을 받은 뒤 답변을 생성하는 추론 단계에 특화된 칩 기술을 개발해 왔다. 엔비디아는 해당 기술을 자사 AI 인프라에 결합해 고속 응답이 필요한 서비스 수요에 대응하려는 것으로 보인다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사