머스크, AI 병목으로 메모리 공급 다시 지목

AI 인프라의 병목이 그래픽처리장치(GPU) 연산 성능에서 메모리 공급으로 옮겨가고 있다는 진단이 다시 나왔다. AI 에이전트가 장시간 작업을 수행하려면 앞선 문맥과 작업 기록을 저장하고 다시 불러와야 해 고대역폭메모리(HBM)와 낸드(NAND) 수요 부담이 커진다는 분석이다.

일론 머스크(Elon Musk) 스페이스X(SpaceX) 최고경영자는 피터 H. 디아만디스(Peter H. Diamandis) 엑스프라이즈(XPRIZE) 창립자가 엑스(X)에 올린 글에 “이를 아는 사람이 거의 없다”고 답했다. 디아만디스는 “AI 에이전트 시대의 진짜 속도 제한 요소는 연산이 아니라 메모리”라는 취지로 썼다.

머스크의 반응은 AI 메모리 수요가 연 200% 이상 늘 수 있다는 앞선 진단의 연장선에 있다. 그는 스페이스X 2분기 실적 통화에서 메모리 생산 증가율은 연 20% 안팎인 반면 수요 증가율은 연 200% 이상일 수 있다고 말했다.

당시 발언은 AI 데이터센터 증설 경쟁에서 GPU만큼 메모리 공급이 중요해졌다는 점을 보여줬다. AI 모델 규모와 추론 사용량이 함께 늘어나면 연산 장치뿐 아니라 문맥을 담아둘 저장 장치의 병목도 커진다.

기술적 쟁점은 ‘KV 캐시’다. 대형언어모델은 입력 토큰을 처리할 때 문맥 관계를 담은 키·값 데이터를 만들고 이를 메모리에 저장한다. 이 데이터가 있어야 모델이 이전 문맥을 매번 처음부터 다시 계산하지 않고 이어서 처리할 수 있다.

대화형 챗봇은 한 번의 문답 단위가 비교적 짧다. 반면 AI 에이전트는 코딩, 검색, 분석 작업을 여러 단계로 이어가며 이전 판단과 작업 기록을 불러와야 한다. 이 과정에서 저장해야 할 문맥이 늘면 GPU 안의 HBM만으로 처리하기 어려워진다.

엔비디아(NVIDIA·$NVDA)는 올해 CES에서 Inference Context Memory Storage Platform을 소개했다. 엔비디아는 해당 자료에서 KV 캐시를 GPU HBM, 시스템 메모리, SSD, 공유 스토리지 계층에 나눠 배치하면 장문맥·에이전트형 추론에서 초당 토큰 처리량과 전력 효율을 기존 스토리지 방식보다 최대 5배 높일 수 있다고 밝혔다.

이 구조는 AI 반도체 경쟁의 초점을 넓힌다. 지금까지는 GPU의 연산 성능과 공급량이 주요 관심사였지만, 에이전트형 추론에서는 문맥을 어디에 저장하고 얼마나 빠르게 불러오느냐가 비용과 처리량을 좌우한다.

마이크로소프트(Microsoft·$MSFT)가 AI 추론 가속기 마이아 200의 비용 효율을 강조한 흐름도 같은 문제의식과 닿아 있다. 생성형 AI 서비스는 학습보다 추론 단계에서 반복 비용이 커지기 때문에 처리량과 전력 효율 개선이 운영비에 직접 영향을 준다.

트렌드포스(TrendForce)는 7월 21일 낸드 플래시 월간 업데이트에서 2026년 낸드 시장이 AI 수요와 제한적인 증설로 공급 부족 상태라고 밝혔다. 트렌드포스는 2026년 낸드 공급 부족률을 4~5%로 추정했고, 서버가 전체 낸드 비트 수요의 40% 이상을 차지한다고 분석했다.

트렌드포스는 공급 제약이 2027년 하반기부터 완화될 수 있다고 봤다. 이는 AI 인프라 확대가 단기 수요뿐 아니라 메모리 업체의 증설 속도와 장기 공급 계약 조건까지 함께 흔드는 사안이라는 뜻이다.

한국 시장에는 삼성전자와 SK하이닉스의 HBM·낸드 공급 전략이 직접 연결된다. SK하이닉스는 7월 29일 2분기 실적 콘퍼런스콜에서 AI 인프라 투자 확대와 타이트한 공급 환경으로 견조한 수요가 이어졌다고 밝혔다.

다만 메모리 산업의 이익 전망은 단순 수요 증가만으로 결정되지 않는다. 장기공급계약 가격, 중국 업체 증설, 데이터센터 투자 속도에 따라 공급 부족의 강도와 수익성이 달라질 수 있다.

AI 에이전트 확산은 반도체 수요의 무게중심을 GPU에서 메모리와 스토리지 계층으로 넓히고 있다. 머스크의 이번 반응은 새 수치를 제시한 발언이라기보다 AI 인프라 투자에서 메모리 병목을 다시 확인한 신호로 읽힌다.