구글에서 선호하는 출처로 추가

100개 이상 앱·워크플로, AMD XDNA 2 NPU 첫 지원

AMD와 Unsloth가 Unsloth Desktop에 XDNA 2 NPU 지원을 추가했다. Qwen3.6 35B-A3B 시연과 Windows 11·Linux x64 지원 범위를 공개했다.

로컬 추론을 시연하는 노트북과 NPU 개발 보드 / TokenPost.ai

AMD($AMD)와 Unsloth가 19일 Unsloth Desktop에 AMD XDNA 2 신경망처리장치(NPU) 지원을 추가했다. 이에 따라 앱과 워크플로를 합친 100개 이상의 에이전트형 인공지능(AI)이 OpenAI 호환 API를 통해 NPU 기반 로컬 추론에 연결된다.

AMD는 공식 발표에서 XDNA 2 NPU가 Unsloth Desktop에서 처음 지원되는 NPU라고 밝혔다. 여기서 '세계 최초'는 해당 애플리케이션의 지원 범위를 가리키며 NPU 기반 로컬 추론 기술 전체가 처음이라는 뜻은 아니다. Lemonade와 FastFlowLM이 모델 서빙과 추론을 맡고 CPU와 GPU는 에이전트의 다른 작업에 남겨두는 구조다.

연결 대상에는 △Hermes Agent △OpenClaw △Open WebUI △Cline △LangChain △GitHub Copilot 등이 포함됐다. AMD 기술 블로그에는 OMP와 Visual Studio Code도 예시로 제시됐다.

◇ 실행 구조와 지원 범위

AMD는 Qwen3.6 35B-A3B 혼합 전문가 모델을 Unsloth Desktop과 FastFlowLM으로 XDNA 2 NPU에서 구동하는 시연을 공개했다. 전체 컨텍스트를 사용할 때 NPU 메모리 약 28GB가 필요하며, 윈도우 기본 공유 메모리 설정에서는 시스템 RAM 64GB를 권장했다. 64GB는 필수 조건이 아니라 권장 사양으로 제시됐다.

지원 기기는 AMD 라이젠 AI 300(스트릭스 포인트·크라켄 포인트), 라이젠 AI Max(스트릭스 헤일로), 라이젠 AI 400(고르곤 포인트) 계열과 XDNA 2 이상 NPU다. 운영체제는 Windows 11과 Linux x64다. Linux에서는 커널 7.0 이상에 amdxdna 드라이버, 구형 커널에는 amdxdna-dkms를 사용하며 최신 NPU 펌웨어와 무제한 memlock 설정이 필요하다.

NPU 모델은 FastFlowLM용 4비트 Q4NX 형식이다. 일반 GGUF 모델은 NPU에서 바로 실행할 수 없어 지원 모델을 Q4NX로 변환해야 한다.

◇ 수치 해석과 전력 주장

Unsloth 문서는 Qwen3.6-35B-A3B-NPU2 모델 크기를 20.6GB, 권장 시스템 RAM을 64GB로 제시했다. AMD는 전체 컨텍스트 실행에 NPU 메모리 약 28GB가 필요하다고 설명했으며, 두 수치는 모델 크기와 실행 시 메모리 요구량을 각각 나타낸다.

같은 표는 처리 속도 초당 17.2토큰과 첫 토큰 지연시간 3.13초를 제시했다. 시험 환경은 상세히 공개되지 않아 이 수치만으로 다른 모델이나 GPU와의 성능을 직접 비교하기 어렵다.

Unsloth는 NPU가 기존 GPU보다 토큰 생성당 2~4배 적은 에너지를 사용할 수 있다고 설명했다. 이 수치는 개발사 주장으로 독립 벤치마크로 검증된 결과는 아니다.

AMD는 XDNA를 AI 엔진 타일과 온칩 메모리를 활용해 캐시 접근을 줄이는 공간 데이터플로 NPU 구조로 설명한다. NPU는 GPU를 대체하기보다 로컬 추론을 맡아 CPU와 GPU를 다른 작업에 남겨두는 보조 연산 장치로 제시됐다.

실제 체감 성능과 전력 효율은 모델 형식, 메모리 용량, 컨텍스트 길이, 전력 모드에 따라 달라질 수 있다. Q4NX 변환 여부와 대형 모델의 메모리 대역폭도 실행 조건에 영향을 줄 수 있다.

◇ 협력 범위와 업계 반응

일부 Reddit 이용자는 전력 효율과 지원 기기에 긍정 반응을 보였다. 반면 통합 GPU와의 속도 비교, XDNA 1 지원, 대형 모델의 메모리 대역폭 병목 가능성을 묻는 질문도 나왔다.

일부 이용자가 NPU와 통합 GPU의 토큰 처리 속도를 같은 시스템에서 비교한 사례를 공유했지만, 스스로 '매우 거친 비교'라고 밝힌 측정이었다. 이런 비공식 수치는 공식 성능 지표와 분리해 봐야 한다.

이번 발표는 Unsloth가 7월 AMD Radeon·Instinct·Ryzen GPU에서 모델 학습과 추론을 지원한 협력의 확장선이다. 국내에서는 과기정통부와 AMD가 CPU·GPU와 국산 NPU를 연계하는 AI 컴퓨팅 인프라 방안을 논의했다.

Phoronix는 AMD에 사전 확인한 결과 해당 기능이 Windows뿐 아니라 Linux 빌드에서도 작동한다고 전했다. 현재 공식 지원 범위는 XDNA 2 이상이며 XDNA 1 지원 여부와 일정은 확인되지 않았다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기