260레인 CXL 스위치, 마벨 AI 메모리 병목 겨냥

마벨 테크놀로지(Marvell Technology·$MRVL)가 260레인 CXL 스위치를 앞세워 AI 인프라의 메모리·스토리지 병목 해소 전략을 공개한다. 대규모언어모델(LLM)의 문맥 처리량이 늘면서 데이터센터의 부담이 연산 성능에서 메모리 용량과 대역폭, 데이터 이동 구조로 확산된 데 대응하려는 구상이다.

마벨은 한국시간 5~7일 미국 캘리포니아주 산타클라라에서 열리는 퓨처 오브 메모리 앤드 스토리지 2026(Future of Memory and Storage 2026)에서 AI 인프라용 메모리·스토리지 관련 발표와 패널을 진행한다. 일정에는 ‘확장 가능한 AI 인프라를 위한 데이터 스토리지 혁신’과 ‘메모리 중심 시대: CXL과 확장 가능한 AI 인프라의 미래’, ‘범용 CXL-PNM: 메모리 집약형 AI 워크로드의 메모리 월 돌파’가 포함됐다.

핵심 주제는 ‘AI 메모리 월’이다. LLM의 크기가 커지고 컨텍스트 윈도가 길어질수록 이전 문맥을 저장하는 KV 캐시 수요도 늘어난다. KV 캐시는 AI 모델이 앞선 대화나 문맥 정보를 다시 계산하지 않도록 보관하는 데이터로, 추론 속도와 비용에 직접 영향을 준다.

마벨은 3월 17일 차세대 CXL 스위치 ‘Structera S 30260’을 발표했다. 랙 단위 메모리 풀링을 지원하는 260레인 제품으로, CPU와 GPU, XPU 등 가속기가 서버 외부의 분리형 메모리 자원에 접근하도록 설계됐다. CXL 3.0을 지원하며 최대 집계 대역폭은 초당 4테라바이트다.

리시 처그(Rishi Chugh) 마벨 데이터센터 스위치 사업부 부사장 겸 총괄은 “AI 메모리 월을 돌파하려면 근본적인 아키텍처 변화가 필요하다”고 말했다. 메모리를 개별 서버에 고정된 자원이 아니라 랙 안에서 공유하고 배분할 수 있는 자원으로 전환해야 한다는 의미다.

마벨이 공개한 제품 설명을 보면 Structera S 30260은 16개 또는 32개의 CPU·GPU와 최대 48테라바이트의 공유 메모리를 지원한다. 마벨 자체 시험에서는 16테라바이트 메모리 풀을 GPU 8개와 CPU 서버 2개가 공유했을 때 추론 처리량이 4.8배로 개선됐고, 첫 토큰 생성 시간은 82.7% 줄었다.

스토리지도 AI 인프라 확장의 또 다른 축으로 떠올랐다. 엔비디아($NVDA)는 블루필드-4 기반 CMX 컨텍스트 메모리 스토리지 플랫폼을 통해 장기 문맥 추론용 KV 캐시에 플래시 기반 저장 계층을 제공한다. 엔비디아는 긴 문맥과 에이전트형 워크로드에서 지속적인 초당 토큰 처리량과 전력 효율을 최대 5배 높이는 것을 목표로 한다고 설명했다.

마벨과 엔비디아는 AI 인프라 협력도 확대하고 있다. 양사는 3월 31일 NVLink Fusion을 기반으로 AI 팩토리와 AI-RAN 생태계에서 협력한다고 발표했다. 마벨은 커스텀 XPU와 NVLink Fusion 호환 스케일업 네트워킹을 제공하고, 양사는 실리콘 포토닉스 기술에서도 협력하기로 했다.

이번 발표는 가상자산이나 토큰 발행보다 AI 데이터센터용 반도체·메모리·스토리지 인프라에 초점이 맞춰져 있다. 다만 비트코인 채굴 기업이 기존 전력·설비를 활용해 AI와 고성능 컴퓨팅 사업으로 영역을 넓히는 흐름과는 맞닿아 있다. 특정 가상자산 가격이나 토큰 수요와의 직접적인 연결은 확인되지 않았다.

Structera S 30260의 고객 샘플링은 2026년 3분기에 시작될 예정이다. 기존 Structera S 20256 CXL 2.0 스위치는 생산 단계에 들어갔다.