메이퇀, 3.56TB 롱캣-2.5 가중치 공개

메이퇀(Meituan·3690.HK)이 롱캣-2.5(LongCat-2.5) 가중치를 공개했다. 허깅페이스(Hugging Face) 저장소에는 가중치 파일 208개가 올라와 있으며 전체 크기는 3.56TB다.

메이퇀은 11월 2일 기술 블로그에서 모델을 소개한 뒤 9일 가중치를 공개했다. 개발자가 모델 파일에 직접 접근할 수 있게 된 것으로, 공개 시점은 모델 소개와 가중치 배포로 나뉜다.

저장소에는 MIT 라이선스가 표시돼 있다. 모델 카드는 이 라이선스가 메이퇀의 상표나 특허 사용권까지 부여하는 것은 아니라고 설명한다.

가중치 공개는 학습 데이터나 전체 학습 과정까지 공개했다는 뜻은 아니다. 이번에 올라온 자료는 모델을 구성하는 가중치 파일이다.

메이퇀은 롱캣-2.5를 총 1.6조 파라미터 가운데 토큰당 약 480억개가 활성화되는 전문가 혼합(MoE) 모델로 소개했다. MoE는 입력에 따라 여러 전문가 모듈 가운데 일부를 활성화하는 구조다.

다만 허깅페이스 모델 카드에는 총 파라미터가 1.6조개로 적힌 반면, 같은 페이지의 자동 메타데이터에는 1.8조개로 표시돼 있다. 두 수치 차이에 대한 공식 설명은 없다.

이 모델은 이미지 신호를 여러 단계의 이산 토큰으로 변환해 텍스트와 함께 처리하는 멀티모달 구조다. 메이퇀은 복잡한 코드베이스 개발, 전체 프로젝트 구축, 시각 정보를 활용한 코딩을 주요 활용 분야로 제시했다.

메이퇀 기술 블로그는 중국산 AI 가속기 한 장의 메모리가 80GB 미만인 조건을 고려해 중간 학습과 지도 미세조정(SFT)에 긴 시퀀스를 적용했다고 설명했다. 중국산 칩에서 AI 모델을 구동했다고 밝힌 앞선 사례는 중국산 칩 기반 모델 공개를 다룬 본지 보도에서도 확인할 수 있다.

학습 시스템에는 초노드 내부 통신을 우선하는 병렬 전략과 이중 분할 완전 분할 데이터 병렬 처리(FSDP)가 적용됐다. 메이퇀은 이 설계로 메모리 사용을 줄였다고 설명했으며, 기술 블로그가 구체적으로 밝힌 범위는 중간 학습과 SFT다.

추론 단계에는 W4A4 방식이 적용됐다. 전문가 가중치와 활성값을 각각 4비트로 양자화하는 방식이다.

메이퇀은 자체 온라인 부하 시험에서 W4A4의 입력 처리(prefill) 처리량이 W8A8보다 43.3%, 출력 생성(decode) 처리량은 42.77% 높았다고 밝혔다. 두 수치는 회사가 측정한 결과다.

레딧(Reddit) 원글 작성자는 가중치 공개 전 프리뷰 모델에 코드 분석을 요청했지만 약 20분 동안 작업이 끝나지 않고 추론이 같은 문장을 반복했다고 썼다. 별도 댓글 작성자는 가상머신 설정 중 단순한 ‘ls’ 명령을 여러 차례 반복했다고 적었다.

또 다른 레딧 이용자는 267회 과제를 실행한 비교 시험에서 프리뷰 모델의 첫 시도 성공률(pass@1)을 48.7%, 세 차례 내 성공률(pass@3)을 64.0%로 기록했다. 이 시험은 가중치 공개 전 프리뷰를 대상으로 한 개인 시험이다.

해커뉴스(Hacker News)의 모델 소개 글 토론에서는 공개 벤치마크를 근거로 API 경쟁력을 인정하는 의견과 큰 모델 규모가 개인 장비 배포에 걸림돌이라는 의견이 함께 나왔다. 이 토론도 가중치 공개 전에 이뤄졌다.