텐센트 혼위안, Hy4 후훈련에 집중…더 큰 모델 훈련 계획

텐센트($0700) 혼위안(Hunyuan)팀이 Hy4의 후훈련과 대규모 강화학습에 힘을 쏟고, 더 큰 모델도 훈련할 계획이라고 밝혔다.

혼위안팀은 21일 Reddit 공개 질의응답에서 Hy4는 여전히 개선 여지가 크며 특히 후훈련을 통해 개선할 수 있다고 답했다. 이어 “대규모 강화학습에 많은 역량을 투입하고 있으며 이용자 경험과 모델 안전성도 계속 개선하고 있다. 더 큰 규모의 모델도 훈련할 계획이다”고 밝혔다.

한 개발자가 텐센트가 매개변수 7000억개 수준에서 규모 확대를 멈춘 이유를 묻자, 혼위안팀은 “Hy3와 Hy4는 잘 훈련한 작은 모델도 더 큰 모델을 앞설 수 있고 비용도 낮출 수 있음을 보여줬다”고 답했다.

텐센트가 공개한 Hy4 공식 모델 자료에는 전체 매개변수 7700억개 가운데 토큰당 490억개를 활성화하는 구조가 제시됐다.

텐센트는 16일 Hy4 flash를 출시하면서 자체 업무 평가인 WorkIndex에서 과제당 비용이 Hy4의 20분의 1이었다고 밝혔다. Hy4 flash는 전체 매개변수 2240억개 가운데 120억개를 활성화하는 모델이다. 비용 비교는 텐센트의 자체 평가 결과다.

공개 질의응답에서는 Hy4 설계 과정도 다뤘다. 혼위안팀은 GQA와 MLA를 검토한 끝에 MLA를 선택했다고 밝혔다. 같은 크기의 임시 저장 공간을 사용할 때 MLA가 더 나은 모델 품질을 보였고, DSA를 도입해 답변 생성 과정의 계산 부담을 낮출 수 있었다고 설명했다.

혼위안팀은 후훈련 과정에서 고치기 어려웠던 행동으로 모델의 ‘과도한 사고’를 꼽았다. 소형 모델 Hy4-mini도 개발 로드맵에 포함했다고 밝혔다.

본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.

Most Popular

지금 꼭 알아야 할 리포트