테더 산하 테더 데이터(Tether Data)가 개인용 GPU와 모바일 기기 등에서도 대규모 언어 모델을 실행·학습할 수 있는 종합 추론 런타임 및 미세 조정 프레임워크 'QVAC Fabric LLM'을 출시했다. 기존에는 고성능 클라우드나 전용 NVIDIA 시스템 등 특수 하드웨어가 필요했지만, 이 프레임워크를 활용하면 노트북·스마트폰 등 일상적인 환경에서도 LLM을 로컬로 운용할 수 있다.
이번에 공개된 QVAC Fabric LLM은 LLama3, Qwen3, Gemma3 등의 최신 모델을 지원하며, llama.cpp 생태계의 활용도를 한층 높인다. AMD, Intel, NVIDIA, Apple 칩 등 다양한 GPU를 폭넓게 지원해, AI 개발 과정에서 특정 기업 하드웨어 종속성을 벗어날 수 있다는 장점이 있다.
소프트웨어는 Apache 2.0 라이선스로 오픈소스로 배포되며, Hugging Face 플랫폼에서도 여러 플랫폼에 맞춘 바이너리와 즉시 활용 가능한 어댑터가 제공된다. 개발자는 복잡한 설정 없이 간단한 명령어만으로 미세 조정을 시작할 수 있도록 설계됐다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>