구글에서 선호하는 출처로 추가
NPU서 작업별 어댑터 전환…AMD 라이젠 AI 1.9
김하린 기자
AMD가 라이젠 AI 소프트웨어 1.9에 NPU 추론 중 일부 Qwen 모델의 LoRA 어댑터를 전환하는 기능을 추가했다. 어댑터는 미리 컴파일해야 하며, 메모리 절감량과 성능 수치는 공개되지 않았다.
토포AI로 이 기사 더 깊이 읽기
AMD($AMD)가 라이젠 AI 소프트웨어 1.9에 신경망처리장치(NPU)에서 언어모델의 LoRA 어댑터를 추론 중 전환하는 기능을 추가했다. 적용 대상은 텍스트용 Qwen 계열 일부 모델이다.
AMD는 1.9 릴리스 노트에서 이 기능을 ‘동적 LoRA 지원’으로 소개했다. Qwen3-4B와 Qwen3.5-4B는 릴리스 노트와 별도 LoRA 안내에 모두 등장한다.
LoRA는 이미 학습한 언어모델의 전체 가중치를 다시 조정하는 대신, 작은 저랭크 어댑터를 학습해 특정 작업에 맞추는 기법이다. 기본 모델은 유지하면서 필요한 작업에 맞는 어댑터를 더하는 방식이다.
AMD는 하나의 기본 모델에 여러 어댑터를 연결하고, 사용자나 작업에 따라 추론 중 선택할 수 있다고 설명한다. 사용 사례마다 기본 모델을 별도로 보관할 필요를 줄일 수 있다는 취지다.
◇ NPU용 어댑터를 미리 컴파일
AMD가 안내한 개발 절차는 먼저 Quark로 기본 모델을 INT4 형식으로 양자화하는 것이다. 양자화는 모델의 가중치를 더 작은 표현 형식으로 바꿔 실행에 활용하는 과정이다.
이어 양자화한 기본 모델을 바탕으로 LoRA 어댑터를 미세조정한다. 이후 ‘model_generate’ 도구로 기본 모델과 어댑터를 NPU 실행용으로 컴파일한다.
컴파일 과정에서 어댑터 이름과 적용 강도를 정하는 값도 지정한다. 추론을 시작한 뒤에는 ‘set_active_adapter()’로 컴파일된 어댑터를 선택한다.
‘base’를 선택하면 어댑터를 적용하지 않은 기본 모델로 돌아간다. 전환 대상은 NPU용으로 미리 컴파일된 어댑터다.
AMD 안내에는 추론 도중 별도 어댑터 파일을 추가하는 절차가 나오지 않는다. LoRA의 최대 지원 랭크는 128이며, 어댑터 적용 강도는 컴파일할 때 정해진다.
문서에는 추론 중 어댑터 적용 강도를 조정하는 기능이 제시되지 않았다. 어댑터 전환에 걸리는 시간도 공개되지 않았다.
AMD는 작업마다 기본 모델 사본을 둘 필요가 없다고 설명했지만, 메모리 절감량은 제시하지 않았다. 따라서 공개된 설명만으로 절감 규모를 수치화할 수 없다.
추론 속도가 얼마나 달라지는지도 공개되지 않았다. 성능 수치가 없는 만큼 메모리 절감률이나 속도 개선 폭을 추정할 근거는 없다.
◇ 플랫폼·모델 지원 범위
AMD 하드웨어 호환성 표에서 언어모델 실행 기능(LLM·OGA)은 STX·KRK·GPT 플랫폼에 표시돼 있다. 모든 라이젠 AI 기기에서 쓸 수 있는 기능으로 설명되지는 않았다.
설치 안내는 Windows용 라이젠 AI 소프트웨어 1.9.0 설치 파일과 경로를 제시한다. 본지는 앞서 라이젠 AI 헤일로 개발자 플랫폼이 로컬 AI 개발과 추론을 겨냥한다고 소개했다.
Qwen2.5 지원 모델 크기는 AMD 문서마다 다르다. 릴리스 노트는 Qwen2.5-3B, 별도 LoRA 안내는 Qwen-2.5-4B로 적어 정확한 크기를 특정하기 어렵다.
버전 표기도 공개 페이지마다 차이가 있다. AMD GitHub 배포 목록에는 1.9.0이 최신으로 올라와 있지만, 개발자 허브의 ‘최신 릴리스’ 표기는 1.8이다.
Comment 0
불러오는 중…