허깅페이스에 올라온 7.72TB 미토스급 모델 주장 파일 일부에서 합성 난수 정황이 제기됐다. 분석자는 파일 형식과 단어 임베딩에는 모델의 흔적이 있지만, 조사한 다른 가중치는 실제 훈련 결과가 아니라고 봤다.
레딧 이용자 johnxreturn은 2일 오전 1시 37분(한국시간) 공개한 분석 글에서 분할 파일 일부를 조사했다고 밝혔다. 그는 Qwen2.5-7B를 비교 대상으로 삼았으며, 저장소의 포장 형식과 토크나이저, 단어 임베딩은 실제 모델의 흔적을 보였지만 다른 가중치는 합성 데이터로 판단했다고 설명했다.
허깅페이스 저장소는 10월 23일 만들어졌다. 설명에는 앤트로픽(Anthropic)의 차기 미토스급 모델을 훈련하던 중 저장한 체크포인트이며, 전문가 모듈 1,224개와 약 14조개 매개변수를 갖췄다고 적혀 있다.
저장소는 가중치 파일이 772개로 나뉘며 전체 크기는 7.72TB라고 주장했다. 허깅페이스 화면에는 매개변수가 약 6.85조개로 표시되지만, johnxreturn은 플랫폼이 특정 형식의 데이터를 집계하지 않는다며 이를 포함해 약 13.68조개로 계산했다.
johnxreturn은 단어 임베딩에서 관련 단어끼리 가까운 값을 보였다고 설명했다. 분석에서 ‘cat’과 ‘cats’의 유사도는 0.475였고, ‘cat’과 ‘Paris’는 0.0475였다.
의문은 출력층에서 나왔다. 저장소 설정은 출력층과 단어 임베딩층을 따로 훈련한 것으로 표시했지만, 두 층의 대응 값은 13만1072개 행 전체에서 약 0.89의 유사도를 보였다.
비교 대상으로 삼은 Qwen2.5-7B의 평균 유사도는 0.0144였다. johnxreturn은 출력층이 임베딩 값에 일정한 비율을 곱하고 잡음을 더해 만들어진 것으로 해석했다.
같은 입력을 받는 모듈의 보정값도 조사 대상이었다. 분석 글에 나온 두 값은 약 0.185와 0.087로 달랐고, johnxreturn은 같은 입력을 기준으로 한 값이라면 일치해야 한다고 지적했다.
그가 확인한 보정값 15개는 모두 달랐으며, 값은 0.05에서 0.40 사이에 분포했다. johnxreturn은 이를 임의로 생성한 수치일 가능성을 뒷받침하는 정황으로 들었다.
가중치 분포도 분석 대상이었다. johnxreturn은 실제 모델에서는 입력 채널별 가중치 크기가 2~5배 차이 날 수 있지만, 저장소의 세 종류 행렬은 통계값 차이가 0.4%에 그쳤다고 밝혔다.
저장소는 가중치를 엔비디아의 NVFP4 형식으로 변환해 아마존 Trainium2에서 시험했다고 설명했다. 레딧 이용자 Strider96은 AWS 문서에 기재된 Trainium2 지원 형식에 NVFP4가 없다며 설명이 맞지 않는다고 지적했다.
파일 안의 MMLU 평가 문항 수도 기록 위치에 따라 달랐다. 한 곳에는 1만4042개, 다른 곳에는 281개로 적혀 있었다고 johnxreturn은 밝혔다.
다른 레딧 이용자들은 저장소의 모델 구조가 DeepSeek-V3, Qwen3-Next, Kimi Linear 등 공개 설계를 조합했다고 주장했다. 훈련 기록에서는 3분이 걸려야 하는 저장 단계가 8초 만에 끝났고, 같은 평가에서 7회 연속 동일한 점수가 나왔다는 지적도 나왔다.
johnxreturn은 분석 결과를 바탕으로 실제 앤트로픽 체크포인트일 가능성을 0.5%로 추정했다. 이는 이용자 개인의 분석에 따른 추정치로, 저장소 파일 전체를 확인한 판정은 아니다.
이번 조사는 7.72TB 전체를 실행하거나 모든 가중치를 검사한 결과가 아니라 파일 일부의 구조와 수치를 대조한 것이다. 저장소가 앤트로픽의 훈련 파일이라는 주장도 회사의 확인을 받은 내용은 아니다.
본지는 앤트로픽의 클로드 미토스 페이지 제목에 미토스 5.5가 표시됐지만 발표 목록과 이용 안내는 5.1을 최신으로 소개했다고 보도했다. 이번 저장소도 차기 미토스급 파일이라고 소개할 뿐, 공식 미토스 5.5 배포 자료를 제시하지 않았다.
레딧 이용자 Strider96은 저장소에 포함된 사용자 지정 파이썬 코드를 실행하지 말라고 경고했다. 이는 출처가 검증되지 않은 코드에 대한 주의이며, 해당 파일에서 악성코드가 발견됐다는 뜻은 아니다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular