SK하이닉스($SKHY), CXL 메모리 공유…SSD에 KV 캐시 저장

SK하이닉스($SKHY)가 고대역폭메모리(HBM) 외부의 메모리까지 묶어 쓰는 AI 랙 시스템을 공개했다. 솔리다임(Solidigm)과 Metrum AI는 SSD에 AI 처리 정보를 보관하는 방식을, Nallasway는 AI 프로세서에 외부 D램을 연결하는 구상을 각각 제시했다.

행사는 10월 12~15일 미국 캘리포니아주 새너제이에서 열린 오픈컴퓨트프로젝트(OCP) 글로벌 서밋이다. 참석자는 약 1만5000명으로, OCP가 공개한 행사 집계에 나와 있다.

SK하이닉스가 선보인 메모리 중심 AI 랙 시스템(MARS)은 여러 업체의 장비와 솔루션을 하나의 랙에 통합하고 메모리를 중심에 두는 구성이다. 회사는 서버 여러 대가 필요한 만큼 메모리 풀에서 꺼내 쓰는 시스템으로 소개했다(SK하이닉스 발표).

함께 공개한 것은 CXL 3.2 기반 2세대 CMM-DDR5 모듈이다. 용량은 256GB, 대역폭은 초당 80GB이며 회사는 이전 세대보다 대역폭이 두 배 이상, 에너지 효율이 약 30% 높다고 설명했다. 이 효율 수치는 모듈 간 비교다.

CXL은 서버에서 CPU·GPU와 외부 메모리 등 부품을 연결하는 규격이다. 메모리 풀링은 연결된 메모리를 하나의 풀로 묶어 여러 서버나 프로세서가 나눠 쓰는 방식이다.

SK하이닉스는 네이버클라우드와 진행한 개념검증 결과도 소개했다. AI 에이전트 환경에서 KV 캐시(앞선 입력을 처리하며 계산한 정보를 임시 저장한 데이터)를 공유하고, 멀티모달 서비스 ‘OmniServe’에서 임베딩을 공유하는 방식이 작동하는지 시험했다.

KV 캐시는 대규모 언어모델이 앞선 입력을 처리하면서 계산한 결과를 임시로 저장하는 데이터다. 대화가 길어지고 여러 단계 작업이 이어질수록 저장할 정보가 늘어나 메모리 용량과 처리 방식이 중요해진다.

MARS 시연 중 하나는 Arcee, Liqid, Marvell과 함께 여러 서버와 GPU를 메모리 풀에 연결했다. SK하이닉스는 CXL 풀을 이용해 KV 캐시를 전송하거나 재사용하는 방식이 네트워크 통신에 의존하는 기존 방식보다 시스템 성능을 높이는 모습을 보였다고 설명했다.

AMD, Penguin, Xcena, Arcee와는 CXL 메모리와 D램·SSD를 결합한 메모리 랙을 시연했다. 작업 이력으로 필요한 KV 캐시를 예측해 D램에 미리 올리고, 전체 캐시는 SSD에 저장해 다시 읽어오는 구조다.

SK하이닉스는 개인형 AI 에이전트 서비스 업체 Pickle과도 메모리 풀을 이용해 응답 지연을 줄이는 시연을 했다. 회사는 여러 AI 모델 사이 데이터 전송을 메모리 풀 기반 스트리밍으로 빠르게 하는 방식이라고 설명했다. MARS 발표는 OCP 공식 녹화 자료 목록에 세션으로 올라 있다.

솔리다임과 Metrum AI는 공동 시연에서 공유 SSD 풀을 KV 캐시 저장 공간으로 활용했다. 프로세서 가까운 고가 메모리에 모든 정보를 두는 대신 처리한 정보를 SSD 계층으로 옮겼다가 필요할 때 불러오는 방식이다.

첫 토큰 생성 시간은 질문 뒤 AI의 첫 응답이 나오기까지 걸리는 시간이다. 공동 시연에서 이 시간이 최대 64.8배 단축되고 처리량은 40.7배 높아졌으며, GPU 요청당 에너지 사용량은 기존 방식보다 26.5배 낮았다고 크립토브리핑은 전했다.

같은 보도에서 Nallasway는 AI 프로세서를 아우르는 XPU에 외부 D램 모듈을 직접 연결하는 방안을 제안했다. LPDDR5X를 사용해 메모리를 3.2TB까지 확장하는 구성이다.

SK하이닉스는 메모리 내부에서 직접 연산하는 차세대 솔루션 CMM-Ax도 전시했다. 회사는 데이터를 옮기지 않고 메모리 안에서 계산해 전력·비용 부담을 줄일 수 있으며, 긴 문맥을 처리하는 추론을 가속하는 시연을 했다고 밝혔다.

HBM 시장에서 SK하이닉스의 점유율을 다룬 앞선 보도와 달리 이번 발표는 서버에서 메모리를 나눠 배치하는 구조에 초점을 맞췄다. CXL 메모리 풀과 D램, SSD를 함께 쓰려면 소프트웨어가 각 데이터를 어디에 두고 언제 옮길지 판단해야 한다.

공개된 내용은 제품 제안과 시연이다. 실제 적용에는 메모리 계층별로 데이터를 배치하고 이동을 관리하는 소프트웨어도 필요하다.