텐센트 혼위안 Hy4, 7700억개 모델 가중치 공개…100만 토큰 지원
텐센트는 지시형·FP8 양자화·사전학습 모델과 System Card를 공개했다. 모델 성능 평가는 회사 주도로 진행됐고 대규모 서비스에는 별도 라이선스 조건이 적용될 수 있다.
텐센트($0700.HK) 혼위안(Hunyuan) 팀이 20일 언어 백본 기준 7700억개(770B) 매개변수를 갖춘 멀티모달 인공지능 모델 Hy4의 가중치를 공개했다. 최대 104만8576토큰 문맥을 지원하는 정식판을 개발자가 내려받아 자체 환경에서 실행할 수 있게 됐다.
공개 대상은 지시형 Hy4, FP8 양자화판 Hy4-FP8, 사전학습 기초 모델 Hy4 base다. 세 모델 가중치는 허깅페이스(Hugging Face)·ModelScope·GitCode에 제공됐으며 System Card는 별도로 공개됐다.
Hy4는 언어 백본 기준 7700억개 매개변수 가운데 토큰마다 490억개를 활성화하는 전문가혼합(MoE) 구조다. 전체 매개변수와 토큰당 활성 매개변수는 서로 다른 수치로, 490억개가 모델 전체 규모를 뜻하지 않는다.
언어 백본은 78개 레이어로 구성된다. 첫 레이어는 일반 FFN이고 나머지 77개는 MoE FFN이며, 각 MoE 레이어에는 라우팅 전문가 256개와 공유 전문가 1개가 배치돼 토큰마다 라우팅 전문가 8개와 공유 전문가가 작동한다.
Hy4는 텍스트뿐 아니라 이미지와 영상도 처리한다. 비전 인코더는 12억3000만개 매개변수, 추론을 돕는 DFly2 드래프트 모델은 33억개 매개변수 규모다.
긴 문맥 처리를 위해 Gated DeepSeek Sparse Attention과 IndexCache를 사용한다. 인덱서는 전체 문맥에서 최대 2048개 토큰을 선택하며, 전체 문맥 길이는 104만8576토큰으로 설정됐다.
공식 배포 절차는 vLLM과 SGLang을 지원한다. 텐센트가 제시한 vLLM 실행 예시는 Hy4-FP8에 8-way 텐서 병렬 구성과 OpenAI 호환 API를 적용하는 방식이다.
라이선스는 Apache License 2.0이 아닌 Tencent Hy License 1.0이다. 파인튜닝·양자화·증류·병합·가지치기 모델 등은 라이선스상 파생물로 규정된다.
모델 서비스(MaaS) 사업자의 전 세계 총매출이 어느 연속 12개월 기간에 5000만달러(약 666억원)를 초과하거나, 모델을 사용하는 제품·서비스가 어느 달 월간활성이용자 1억명을 넘으면 별도 서면 라이선스가 필요하다. 모델·파생물과 그 출력물을 제3자에게 제공하지 않는 순수 내부 사용은 예외다.
텐센트는 11월 4일 공식 발표에서 Hy4를 서비스로 먼저 공개한 뒤 며칠 안에 가중치와 System Card를 내놓겠다고 밝혔다. 이번 가중치 공개는 당시 계획을 이행한 것이다.
앞서 Hy4 Preview를 API로 제공한 사례와 달리 이번에는 모델 가중치를 내려받아 자체 인프라에서 실행할 수 있다. 서비스 호출과 자체 배포가 병행되는 구조가 됐다.
텐센트 혼위안 팀과 텐센트 파이낸셜 테크놀로지가 진행한 금융 평가에는 주요 금융기관 소속 전문가 153명을 포함한 213명이 참여했다. 579개 금융 업무에서 Hy4는 평균 3.04점(4점 만점)을 기록해 비교한 오픈 웨이트 모델 가운데 가장 높았다고 텐센트는 밝혔다.
이 평가는 텐센트가 주도한 회사 평가로 외부 독립 검증 결과와는 구분된다. 공식 모델 카드는 Hy4가 미리보기판보다 시각 이해·장문맥 이해·장기 작업 수행 능력을 높였다고 설명하면서도 연구급 수학, 장기 코딩, 모델 자기개선, 고난도 시각 질의응답에서는 최상위 폐쇄형 모델과 격차가 남는다고 명시했다.
System Card의 안전성 평가 역시 텐센트 연구·보안 조직이 수행한 자료다. 따라서 안전성 수치는 외부 독립기관의 재현 검증 결과로 확대해석할 수 없다.
7700억개는 비전 인코더와 DFly2를 제외한 언어 백본 수치다. 토큰당 490억개가 활성화되더라도 전체 가중치를 보유하고 배포해야 하므로, 실행 비용과 메모리 요구량을 단순히 490억개 모델 기준으로 계산할 수 없다.
가상자산·블록체인과 직접 연결된 내용이나 특정 GPU 공급 계약·칩 사용량에 관한 내용은 이번 공개 자료에 제시되지 않았다. 발표 내용은 모델 가중치, 배포 경로와 라이선스 조건에 집중돼 있다.
서도윤 기자 




Comment 0
불러오는 중…