2.6B 온디바이스 AI, 일부 평가서 9B 앞섰다

리퀴드 AI(Liquid AI)가 2.69B 파라미터로 구성된 온디바이스 에이전트 모델 ‘LFM2.5-2.6B’를 공개했다. 자체 벤치마크에서 일부 지시 이행·도구 사용 점수는 Qwen3.5-9B를 웃돌았다.

리퀴드 AI는 4일 공식 블로그에서 LFM2.5-2.6B와 기본 모델 ‘LFM2.5-2.6B-Base’를 허깅페이스(Hugging Face)에 공개했다고 밝혔다. 작은 모델로 도구 호출과 다단계 작업, 구조화 출력을 로컬 기기에서 처리하도록 설계했다.

LFM2.5-2.6B는 약 34조 토큰으로 사전학습됐다. 128K 문맥 확장 단계를 거쳐 최대 13만1072토큰의 문맥을 지원하며, 30개 레이어와 12만8000개 규모의 어휘 체계를 갖췄다.

모델은 실제 에이전트 하네스에서 도구 사용과 시스템 프롬프트, 다중 턴 작업 환경을 학습했다. 에이전트 하네스는 모델이 외부 도구를 선택하고 결과를 받아 다음 작업을 수행하도록 연결하는 실행 환경을 뜻한다.

학습에는 지도 미세조정과 교사 모델 특화, 멀티도메인 온폴리시 증류, 에이전트 강화학습이 적용됐다. 증류는 성능이 높은 모델의 답변과 판단을 이용해 더 작은 모델에 역량을 이전하는 방식이다.

리퀴드 AI는 지시 이행과 수학, 지식, 코드, 도구 사용, 긴 문맥 처리 영역별 교사 모델을 만든 뒤 이를 하나의 학생 모델에 통합했다고 설명했다. 클라우드 API를 거치지 않고 기기에서 추론할 수 있어 지연시간과 개인정보 처리 부담을 줄이는 데 초점을 맞췄다.

회사가 공개한 평가표에서 LFM2.5-2.6B의 IFBench 점수는 59.17로 Qwen3.5-9B의 56.47보다 높았다. Multi-IF는 80.07 대 62.55, IFStruct는 85.49 대 78.50으로 나타났다.

도구 사용 평가인 ToolSandbox에서도 LFM2.5-2.6B가 77.83을 기록해 Qwen3.5-9B의 76.44를 웃돌았다. 다만 이 수치는 리퀴드 AI가 공개한 자체 평가 결과이며, 독립 기관이 동일한 조건에서 재현한 결과는 확인되지 않았다.

모든 평가에서 소형 모델이 앞선 것은 아니다. BFCLv4에서는 Qwen3.5-9B가 60.13으로 LFM2.5-2.6B의 56.88보다 높았고, AIME25와 LiveCodeBenchv6에서도 Qwen3.5-9B가 우위를 보였다.

리퀴드 AI는 LFM2.5-2.6B를 도구 사용과 데이터 추출, 검색증강생성(RAG), 긴 문맥 작업에 권장했다. 반면 에이전트 코딩과 지식 집약형 작업에는 권장하지 않았으며, 복잡한 작업이나 코딩 비중이 큰 환경에는 더 큰 모델이 적합할 수 있다고 설명했다.

온디바이스 시험에서는 애플 M5 맥스에서 초당 220토큰, AMD 라이젠 AI 맥스+ 395에서 초당 113토큰의 디코딩 속도를 기록했다. 메모리 사용량은 2.5GB 미만이었고 휴대전화에서도 초당 30토큰 수준으로 작동했다고 회사는 밝혔다.

이번 모델은 스마트폰 등 기기 안에서 구동되는 소형 AI 모델의 확장 흐름과 맞닿아 있다. 다만 특정 블록체인 프로젝트나 토큰, 거래소와의 직접 연동은 공개되지 않았다.

로컬 에이전트는 향후 지갑 보안이나 온체인 데이터 분석 도구에 적용될 여지가 있지만, 실제 활용 여부는 개발자 채택과 독립 성능 검증을 거쳐야 한다. 모델 가중치와 기본 모델은 허깅페이스에서 공개됐다.

검증 출처: 리퀴드 AI 공식 블로그, 허깅페이스 모델 카드