IBM이 엔터프라이즈 AI 확산 가속화를 위해 엔비디아(NVDA)의 경쟁사인 그록(Groq)과 손을 잡았다. IBM은 20일(현지시간) 자사의 AI 플랫폼 ‘왓슨x 오케스트레이트(watsonx Orchestrate)’와 그록의 하드웨어 가속 기술을 통합해 에이전틱 AI(agentic AI)의 실전 배치 속도와 효율성을 크게 개선할 계획이라고 밝혔다.
이번 협력을 통해 IBM 고객사는 그록의 ‘LPU(Language Processing Unit)’ 설계를 기반으로 한 고속 추론 기술을 ‘왓슨x’ 플랫폼 내에서 바로 활용할 수 있다. 특히, 낮은 지연 시간으로 고성능을 유지하면서도 대규모 AI 작업을 보다 저렴하게 처리할 수 있다는 점에서 기업의 AI 도입 부담은 대폭 줄어들 전망이다.
그록은 GPU 기반보다 최소 5배 이상 빠르고 비용 효율적인 추론 속도를 구현하는 독자 하드웨어 아키텍처를 강조하고 있다. 이는 엔비디아가 주도해온 AI 추론 시장에 적극적으로 도전장을 내민 행보다. IBM은 이번 협업을 통해 AI 모델 스케일을 확장하면서도, 금융이나 헬스케어처럼 보안과 규제를 중시하는 산업군에서도 무리 없이 AI를 운영할 수 있는 기반을 마련했다고 강조했다.
두 회사는 레드햇(RedHat)의 ‘llm-d’ 프레임워크 통합뿐 아니라, IBM의 자체 개발 언어 모델인 ‘그래나이트(Granite)’도 그록의 고속 추론 플랫폼 ‘GroqCloud’ 상에서 운영할 수 있도록 연동을 강화할 예정이다. 이를 통해 개발자들은 LLM을 더욱 높은 속도와 낮은 비용으로 활용할 수 있게 된다.
왓슨x 오케스트레이트는 기업 맞춤형 AI 에이전트를 자동 생성하거나 기존 프로세스를 AI로 전환할 수 있는 IBM의 핵심 플랫폼이다. 이번 파트너십은 이 플랫폼을 기반으로 고객들이 특화된 AI 에이전트를 더 빠르고 경제적으로 적용할 수 있도록 하는 데 초점이 맞춰졌다.
한편, 그록은 최근 진행한 7억 5,000만 달러(약 1조 800억 원) 규모의 투자 유치 라운드를 포함해 총 18억 달러(약 2조 5,900억 원)를 확보했고, 기업가치는 69억 달러(약 9조 9,000억 원)에 달한다. 이미 한 보험사는 그록 기술을 통해 수천건의 고객 질의에 실시간 동시 대응하는 데 활용 중이라고 IBM은 밝혔다.
IBM 소프트웨어부문 총괄 수석 부사장 롭 토마스(Rob Thomas)는 “AI 추론은 실험단계에서야 선택지가 많지만, 실제 서비스 운영단계로 넘어가면 복잡한 워크플로우를 실패 없이 구현할 수 있는 인프라가 최우선과제가 된다”며, 속도와 오케스트레이션을 모두 갖춘 그록과의 파트너십이 이에 대한 해법이 될 것이라고 덧붙였다.
IBM은 이번 발표와 함께 그록의 LPU 기반 서비스 제공을 즉시 개시한다고 밝혔다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>