엔비디아(NVIDIA)가 저지연 AI 추론 가속기 그록 3 LPX(Groq 3 LPX) 랙 시스템의 전면 양산에 들어갔다. 네비우스(Nebius)는 이를 처음 도입해 올해 말 자사 데이터센터에서 개발자에게 제공할 예정이다.
엔비디아는 현지시간 24일 공식 블로그에서 그록 3 LPX가 베라 루빈(Vera Rubin) 플랫폼의 추론 성능을 확장하는 랙 단위 시스템이라고 밝혔다. 엔비디아는 젬마 4 31B(Gemma 4 31B) 벤치마크에서 10만 토큰 장문 맥락 작업 기준 초당 3400개 출력 토큰을 처리했다고 설명했다.
그록 3 LPX는 랙당 256개 LPU 가속기를 연결하는 구조다. 엔비디아는 지난 3월 기술 블로그에서 해당 시스템이 총 128GB 온칩 SRAM과 315페타플롭스(PFLOPS)급 FP8 추론 연산 성능을 갖췄다고 소개했다.
엔비디아는 그록 3 LPX가 베라 루빈 NVL72와 함께 쓰이며, 대화형 에이전트와 코딩 시스템처럼 응답 지연에 민감한 AI 서비스의 토큰 생성 속도를 높이는 데 초점을 맞췄다고 밝혔다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사