69.4% 기록한 큐원 3.5-2B…기준 모델은 21.6%

Tree-Ising 연구진은 큐원(Qwen) 3.5-2B의 GSM8K 정답률이 가중치 일부를 수정한 뒤 69.4%를 기록했다고 보고했다. 같은 조건에서 수정 전 기준 모델의 정답률은 21.6%였다.

QDeep와 ITMO대 LEAD 연구진은 11월 10일 arXiv에 공개한 사전논문에서 결과를 제시했다. GSM8K 문제 1,319개를 사고 모드와 탐욕적 디코딩으로 풀게 하고, 답변 길이는 8,192토큰으로 제한했다.

연구진은 GSM8K 시험 세트의 초기 200개 문제를 살펴본 뒤 기준 모델이 가장 어려움을 겪는 탐욕적 디코딩을 평가 조건으로 선택했다. 이 200개를 제외한 1,119개 문제에서도 수정 모델은 69.6%, 기준 모델은 21.6%를 기록했다. 전체 평가에서 답변이 토큰 상한에 도달한 비율은 77.9%에서 26.7%로 줄었지만, 기준 모델이 맞힌 285개 문제 가운데 38개는 수정 뒤 오답이 됐다.

◇ 수학 평가에서 확인된 차이

Tree-Ising은 모델을 다시 훈련하지 않고 저장된 BF16 가중치 일부를 수정하는 방법이다. 가중치의 부호를 뒤집거나 지수를 제한된 범위에서 바꿔 반복 출력을 줄이고 답변을 마치는 방향을 강화한다.

연구진은 가중치 수정 여부를 출력 행별 이진 최적화 문제로 나눠 풀었다. Ising과 QUBO는 이 연구에서 이진 선택지를 최적화하기 위한 수학적 표현으로 쓰였다.

주요 결과는 GPU에서 시뮬레이티드 어닐링과 양자 영감 방식인 시뮬레이티드 바이퍼케이션으로 얻었다. IBM 양자컴퓨터를 사용한 결과와는 구분되는 실험이다.

큐원 3.5-0.8B의 MATH-500 4회 생성 평가에서 시뮬레이티드 어닐링 방식은 54.6%, 시뮬레이티드 바이퍼케이션 방식은 55.1%를 기록했다. 같은 평가 절차로 연구진이 다시 측정한 에이전트 수정 모델은 51.7%였다. 기준 모델의 7.9%는 이번 연구진이 직접 재측정한 결과가 아니라 선행 연구 수치다.

연구진은 다섯 수학 평가에서 두 방식 모두 에이전트 수정 모델보다 높은 점수를 냈다고 보고했다. 다중 비교를 반영한 통계적 차이는 MATH-500과 GSM8K에서 확인됐다.

MATH-500 문제 500개 가운데 100개는 초기 방법 검토에 사용됐다. 나머지 400개에서는 시뮬레이티드 어닐링 방식이 53.8%, 에이전트 수정 모델이 50.8%를 기록했다.

본지는 앞서 큐원 3.5-0.8B의 가중치 수정 실험을 보도했다. 당시 MIT 연구진은 AI 에이전트를 이용해 반복 출력을 추적하고 가중치를 고쳤으며, 연구 글에서 MATH-500 점수가 7.9%에서 48.1%로 올랐다고 밝혔다.

이번 논문의 0.8B 실험은 앞선 에이전트가 선택한 층을 재사용했다. 2B 실험에서는 수정 전 모델만으로 수정할 층과 수정량을 골랐다.

◇ 수정 비용과 평가 범위

논문 비용표에서 Tree-Ising의 0.8B 절차를 한 차례 실행하는 데 순전파 요청 4회와 약 31분, 0.90달러(약 1,200원)가 들었다. 기존 에이전트가 수정 방법을 찾는 과정에는 순전파 요청 50회와 LLM 대화 158회, 총 8,970만 토큰, 약 15.6시간과 312달러(약 41만7,000원)가 소요된 것으로 계산됐다.

두 비용은 기존 에이전트의 수정 방법 탐색 과정과 Tree-Ising의 고정된 절차 1회 실행을 비교한 것이다. Tree-Ising 절차는 에이전트의 공개 로그에서 얻은 수정 층과 수정량을 재사용했으며, 양쪽의 방법 개발 비용은 계산에서 제외됐다.

IBM Heron 양자컴퓨터 실험은 가중치 수정 문제에서 변수 8개만 떼어낸 개념 검증이었다. 연구진은 이 결과를 전체 모델에 적용해 정확도를 측정하지 않았다.

평가 범위는 큐원 3.5 계열 두 모델의 수학 문제와 반복 출력 현상에 한정됐다. 일반 언어 능력이나 다른 모델 계열에서 같은 효과가 나타나는지는 이번 연구에서 평가하지 않았다.