구글에서 선호하는 출처로 추가

13개 모델 AMD GPU서 실행…NPU 필요한 프리뷰 백엔드

FastFlowLM v1.0.13이 AMD GPU용 'oga-hipep' 백엔드를 프리뷰로 추가해 Windows에서 13개 모델을 실행할 수 있게 했다. GPU 실행에도 NPU가 필요해 GPU만 있는 기기는 지원하지 않는다.

노트북 화면에 띄운 로컬 AI 모델 실행 창 (사진 설명) / TokenPost.ai

FastFlowLM v1.0.13이 AMD($AMD) GPU에서 AI 모델을 실행하는 'oga-hipep' 백엔드를 추가했다. Windows에서 13개 모델을 GPU로 돌릴 수 있지만, GPU 실행에도 NPU가 필요하다.

FastFlowLM 개발진은 GitHub 릴리스 노트 v1.0.13에서 NPU뿐 아니라 AMD GPU에서도 모델을 실행할 수 있게 됐다고 밝혔다. 새 백엔드는 ONNX Runtime GenAI와 AMD의 hip-ep 런타임을 사용하며 표준 Windows ZIP·MSI에 포함된다.

GPU 모델은 태그가 '-oga-hipep'으로 끝나는 형태로 제공된다. 사용자는 flm run, flm serve 명령으로 GPU 모델을 실행하거나 로컬 서버를 열 수 있다. 첫 flm run 또는 flm serve 때 hip-ep 런타임 약 137MiB가 사용자 프로필에 설치된다.

지원 모델은 gemma3-oga-hipep:4b부터 qwen3.8-flash-next-oga-hipep:125b-a6b까지 13종이다. 다운로드 용량은 4.4GB에서 124.0GB로 차이가 크다. 125B 모델은 GPU 메모리 약 78GiB가 필요하다.

제약도 분명하다. △Windows 전용이며 Linux와 HRX 빌드는 지원하지 않는다. △호스트에 NPU가 필요해 GPU만 있는 기기에서는 작동하지 않는다. △Gemma와 GPT-OSS GPU 모델은 텍스트 전용이며, 릴리스 노트는 Gemma에 이미지나 오디오를 보내면 HTTP 400을 반환한다고 설명했다. △gemma4-it-oga-hipep:12b는 도구 실행 결과를 받은 뒤 응답 단계에서 실패할 수 있다.

릴리스 노트 자체 측정에서는 Ryzen AI MAX+ 395에서 qwen3.5-oga-hipep:9b가 디코드 약 36토큰/초, 프리필 약 1,150토큰/초를 기록했다. qwen3.8-flash-next-oga-hipep:125b-a6b의 디코드는 약 34.5토큰/초로 제시됐다.

FastFlowLM은 기존에 AMD Ryzen AI NPU 중심으로 모델을 실행해 왔다. FastFlowLM 개발팀은 7월 17일 AMD에 합류했다. GitHub 저장소는 ROCm/FastFlowLM 경로에 있으며 AMD ROCm 프로젝트 아래 개발되는 것으로 보인다. AMD는 앞서 GPU 8개를 단일 노드에 묶어 모델을 구동하는 실행 구성도 공개했다.

remio.ai는 AMD의 FastFlowLM 팀 영입이 모든 경쟁 런타임보다 빠르다는 점을 입증하지 않는다고 평가했다. 이 매체는 프로젝트가 제시한 성능 수치 상당수가 자체 측정이라고도 지적했다. 이번 GPU 기능은 프리뷰 단계로, 개발진은 후속 버전에서 모델 태그와 옵션, 동작이 바뀔 수 있다고 안내했다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기