첫 토큰 생성 시간 81% 단축…SK하이닉스 공유 메모리 시험

SK하이닉스($SKHY)가 AI 서버 여러 대가 추가 메모리를 공유하는 구조를 제안했다. 반복 추론 시험에서 원격 CXL D램을 사용했을 때 첫 토큰 생성 시간이 재계산 방식보다 약 81% 짧았다.

SK하이닉스는 12일 서울에서 열린 ‘2026 인텔(Intel·$INTC) AI 서밋 서울’에서 구상을 공개했다. 행사와 시험 결과는 조선비즈(ChosunBiz) 영문판 보도에도 소개됐다.

현재 AI 서버는 그래픽처리장치(GPU) 가까이에 고대역폭메모리(HBM)를 붙여 데이터를 처리한다. GPU 주변에 메모리를 더 설치할 공간에는 한계가 있다.

SK하이닉스가 제안한 공유 메모리 풀은 대용량 메모리를 별도 랙에 두고 여러 서버가 함께 이용하는 방식이다. 기존 서버 구성을 대체하지 않고 추가 메모리 용량을 제공하는 데 초점을 맞췄다.

각 서버는 자체 메모리를 계속 사용한다. 한 서버가 작업을 마친 뒤 중간 결과를 공유 메모리에 저장하면 다음 작업을 맡은 서버가 이를 불러와 재사용할 수 있다.

인텔은 에이전트형 AI에서 CPU가 요청을 분류하고 작업을 배정하며, GPU가 모델 계산을 맡는 역할 분담을 제시했다. 한 번의 요청에도 검색과 프로그램 실행, 결과 확인 등 여러 단계가 이어질 수 있다.

이때 쓰이는 데이터 가운데 하나가 KV 캐시다. AI 모델이 대화나 작업을 이어가며 앞서 계산한 내용을 임시로 저장해 다음 추론에 활용한다.

대화가 길어지면 KV 캐시도 커진다. GPU 메모리가 부족해 저장된 내용을 내보내면 이후 작업에서 같은 내용을 다시 계산해야 할 수 있다.

SK하이닉스의 반복 추론 시험에서 캐시를 비우고 재계산하는 방식은 첫 토큰 생성까지 평균 80.76초가 걸렸다. 캐시를 외장 SSD에 저장했을 때는 33.56초, 원격 CXL D램에 저장했을 때는 15.45초였다.

약 81% 감소는 재계산 방식과 원격 CXL D램 방식을 비교한 결과다. 특정 시험에서 첫 토큰이 생성되기까지 걸린 시간이며, AI 서비스 전체 처리 속도가 같은 비율로 개선됐다는 뜻은 아니다.

컴퓨트 익스프레스 링크(CXL)는 CPU나 GPU가 외부 메모리에 접근하도록 연결하는 규격이다. SK하이닉스는 원격 CXL D램을 활용해 여러 서버가 메모리 데이터를 공유하는 방식을 시험했다.

주영표(Joo Young-pyo) SK하이닉스 부사장 겸 시스템 아키텍처 책임자는 “GPU나 CPU에 직접 연결된 메모리에서 가져오는 것보다 데이터 호출 시간이 더 걸리지만, 재계산하는 것보다는 훨씬 나은 성능을 낼 수 있다”고 말했다. 원격 메모리의 지연을 감안해도 재계산을 줄이는 효과가 있다는 설명이다.

양사는 서버 메모리 협력을 이어 왔다. SK하이닉스는 2025년 12월 256GB DDR5 RDIMM의 인텔 제온 6 플랫폼 데이터센터 인증을 업계 최초로 완료했다고 발표했다.

당시 인증은 서버용 메모리 모듈과 인텔 플랫폼의 호환성을 검증한 것이다. 이번 제안은 여러 서버가 별도 랙의 메모리를 함께 이용하는 시스템 구조에 관한 내용이다.

SK하이닉스는 고객사와 파트너를 상대로 메모리 공유 기술을 검증하고 있으며, 인텔과는 시스템 설계 단계부터 협력하고 있다.