엔비디아 'AI 팩토리' 모델 흔들… 인프라·품질 한계에 경쟁사 정면 비판

엔비디아(NVDA)의 'AI 팩토리' 전략이 현실적인 시험대에 올랐다. 미국 샌프란시스코에서 열린 ‘VB 트랜스폼 2025’ 포럼에서는 AI 추론 시장의 매출 구조와 성능 한계가 정면으로 드러나며, AI 인프라 시장의 실체를 둘러싼 논쟁이 격화됐다. 특히 경쟁사인 그록(Groq)과 세레브라스(Cerebras)는 엔비디아가 70%에 달하는 *매출총이익률*을 유지하면서도 이를 '표준화된 공장' 운영이라 설명하는 것에 날선 비판을 가했다.

그록의 CEO 조너선 로스는 “AI 팩토리는 AI를 덜 무섭게 보이도록 만든 마케팅 용어”라고 직설적으로 말했다. 세레브라스 CTO 션 리 또한 “엔비디아는 다른 서비스 제공업체들이 피눈물 나는 가격 경쟁을 벌이는 동안 70% 마진을 챙기며 편안하게 앉아 있는 셈”이라고 지적했다.

이날 패널들은 AI 추론 시장의 세 가지 구조적 문제를 폭로했다. 첫째는 추론 속도의 비정형성이다. 예컨대 DeepSeek과 같은 모델은 저비용 제공이 가능하지만 초당 20토큰 처리 속도에 불과해 실사용에는 부적합하다. 둘째는 품질 편차다. 로스 CEO는 이를 초기 석유 산업에 비유하며 “과거에는 한 곳에서 산 석유가 집에 불을 낼 정도로 품질이 달랐다면, 지금 AI 추론 시장도 마찬가지”라고 통렬히 지적했다.

무엇보다 중요한 셋째는 비용이 성능과 정비례하지 않는다는 점이다. 요컨대 돈을 더 써도 더 나은 AI 결과를 얻을 수 없다는 뜻이다. 많은 기업들이 정밀도를 희생해서라도 비용과 속도를 맞추기 위한 최적화를 시도하며, 이러한 접근법이 암암리에 모델 품질을 훼손한다는 주장이 잇따랐다. 로스에 따르면 마크 저커버그가 그록을 “유일하게 완전한 품질로 서비스하는 곳”이라고 언급했을 정도로, 시장 전체에서 품질 유지가 어렵다는 점이 은연중 드러난 셈이다.

또 다른 핵심 이슈는 '토큰 부족'이다. 세미애널리시스의 창립자 딜런 파텔은 “지금 대형 AI 모델 사용자들은 OpenAI 같은 업체에 토큰을 더 달라고 매주 회의에 나가고 있다. 그런데 정작 그들 역시 하드웨어 공급업체들과 또다른 회의를 한다”고 밝혔다. GPU의 생산 리드 타임만 2년, 데이터센터 확보에는 전력 계약까지 필요하다 보니 진정한 문제는 칩이 아니라 *인프라*였다.

앤트로픽은 6개월 만에 연간 반복 매출(ARR)을 20억 달러에서 30억 달러(약 2조 8,800억 원에서 4조 3,200억 원)로 끌어올렸고, 커서(Cursor)는 사실상 무에서 5억 달러(약 7,200억 원) 매출을 만들어냈다. 그럼에도 불구하고 이들 기업은 여전히 필요한 토큰양을 확보하지 못하고 있다.

패널들은 인프라 한계가 AI 전략의 최우선 리스크가 되고 있다고 강조했다. 파텔은 “지금 미국 내에서는 데이터센터 공간을 찾기도 어렵고, 전력 문제가 매우 심각하다”며 “중동에 기업들이 몰리는 것은 전력 인프라 때문이다. 칩만 있다고 되는 문제가 아니다”라고 강조했다.

그록과 세레브라스는 단가 경쟁을 넘어 성능 자체로 승부를 걸고 있다. 세레브라스는 자체 ‘웨이퍼 스케일’ 기술을 통해 기존 GPU 대비 최대 50배 빠른 추론을 실현했다. 리 CTO는 “일부 고객은 40분 걸리던 에이전트형 워크플로우를 실시간으로 돌리기 원한다. 이는 단순히 돈을 더 쓴다고 해결되지 않는 영역”이라고 말했다.

추론 시장이 단일 기준 가격으로 수렴할 것이라는 ‘팩토리’ 비유는 이미 무너졌다. 고속 추론이 필수적인 기업과 단순 야간 배치 작업을 진행하는 조직의 인프라 요구는 판이하다.

구글에서 유래한 ‘성공 재앙(Success Disaster)’ 현상도 반복되고 있다. 애초 인간보다 더 뛰어난 성능을 낸 일부 AI는 폭발적인 수요 증가를 유발했고, 급기야 전 세계 데이터센터 규모를 수배 늘려야만 버틸 수 있는 상황으로 몰렸다. AI 채택이 실패하거나 초고속 성장 두 가지밖에 없는 지금, 기존 IT 예측모델은 통하지 않는다.

기업들은 더는 ‘단가 중심’의 공급자 기반 전략이 아닌, 성능 중심의 맞춤형 아키텍처 전략으로 전환해야 한다. 특히 GPU에만 의존한 인프라는 근본적인 제한에 봉착할 수 있다. 전력 확보를 미래 생존전략으로 간주하고, 실제 추론 품질을 확인할 수 있는 체계를 마련하는 것이 시급하다.

트랜스폼 패널의 메시지는 분명했다. 엔비디아의 'AI 팩토리' 모델이 시장의 표준이 되기에는 현실의 변수와 각 기업의 요구가 너무나 다양하다. 기업들은 지금, '모두를 위한 AI 인프라'라는 환상을 버리고, 자신들의 워크로드에 최적화된 고품질·고속·고신뢰 인프라를 찾아야 한다. 그대로 두었다가는 매주 더 많은 비용을 지불하면서도 원하는 결과는 얻지 못하는 악순환에 빠질 위험이 크다.