FastFlowLM v1.0.13이 AMD($AMD) GPU에서 AI 모델을 실행하는 'oga-hipep' 백엔드를 추가했다. Windows에서 13개 모델을 GPU로 돌릴 수 있지만, GPU 실행에도 NPU가 필요하다.
FastFlowLM 개발진은 GitHub 릴리스 노트 v1.0.13에서 NPU뿐 아니라 AMD GPU에서도 모델을 실행할 수 있게 됐다고 밝혔다. 새 백엔드는 ONNX Runtime GenAI와 AMD의 hip-ep 런타임을 사용하며 표준 Windows ZIP·MSI에 포함된다.
GPU 모델은 태그가 '-oga-hipep'으로 끝나는 형태로 제공된다. 사용자는 flm run, flm serve 명령으로 GPU 모델을 실행하거나 로컬 서버를 열 수 있다. 첫 flm run 또는 flm serve 때 hip-ep 런타임 약 137MiB가 사용자 프로필에 설치된다.
지원 모델은 gemma3-oga-hipep:4b부터 qwen3.8-flash-next-oga-hipep:125b-a6b까지 13종이다. 다운로드 용량은 4.4GB에서 124.0GB로 차이가 크다. 125B 모델은 GPU 메모리 약 78GiB가 필요하다.
제약도 분명하다. △Windows 전용이며 Linux와 HRX 빌드는 지원하지 않는다. △호스트에 NPU가 필요해 GPU만 있는 기기에서는 작동하지 않는다. △Gemma와 GPT-OSS GPU 모델은 텍스트 전용이며, 릴리스 노트는 Gemma에 이미지나 오디오를 보내면 HTTP 400을 반환한다고 설명했다. △gemma4-it-oga-hipep:12b는 도구 실행 결과를 받은 뒤 응답 단계에서 실패할 수 있다.
릴리스 노트 자체 측정에서는 Ryzen AI MAX+ 395에서 qwen3.5-oga-hipep:9b가 디코드 약 36토큰/초, 프리필 약 1,150토큰/초를 기록했다. qwen3.8-flash-next-oga-hipep:125b-a6b의 디코드는 약 34.5토큰/초로 제시됐다.
FastFlowLM은 기존에 AMD Ryzen AI NPU 중심으로 모델을 실행해 왔다. FastFlowLM 개발팀은 7월 17일 AMD에 합류했다. GitHub 저장소는 ROCm/FastFlowLM 경로에 있으며 AMD ROCm 프로젝트 아래 개발되는 것으로 보인다. AMD는 앞서 GPU 8개를 단일 노드에 묶어 모델을 구동하는 실행 구성도 공개했다.
remio.ai는 AMD의 FastFlowLM 팀 영입이 모든 경쟁 런타임보다 빠르다는 점을 입증하지 않는다고 평가했다. 이 매체는 프로젝트가 제시한 성능 수치 상당수가 자체 측정이라고도 지적했다. 이번 GPU 기능은 프리뷰 단계로, 개발진은 후속 버전에서 모델 태그와 옵션, 동작이 바뀔 수 있다고 안내했다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular