큐원 수학 점수 7.9%→48.1%…GPT-6 아스트라가 가중치 수정

GPT-6 Astra가 큐원(Qwen) 3.5-0.8B(Qwen3.5-0.8B)의 가중치 13만1072개를 수정한 뒤 MATH-500 점수가 7.9%에서 48.1%로 올랐다는 초기 실험 결과가 공개됐다. 수정한 가중치는 전체의 0.016%다.

MIT 컴퓨터과학·인공지능연구소(MIT CSAIL) 연구진은 11월 2일 공개한 연구 글에서 이 방식을 ‘Weight-Space Programming’이라고 불렀다. 대형 언어 모델이 다른 모델의 가중치를 살펴보고 일부 값을 직접 바꾸는 접근이다.

같은 실험에서 GSM8K 점수는 13.8%에서 67.1%로, 지시 수행 능력을 평가하는 IFEval 점수는 21.0%에서 62.3%로 올랐다. MATH-500의 전후 점수 비율은 약 6.1배다.

다만 이 수치는 큐원 3.5-0.8B를 대상으로 최대 50회 모델 실행을 허용한 조건에서 나왔다. 모든 모델이나 작업에서 수학 성능이 6배 높아졌다는 뜻은 아니다.

실험에서 GPT-6 Astra는 가중치가 담긴 Python 작업 환경을 이용해 수정할 부분을 찾았다. 연구진은 기울기를 계산하거나 학습 과정을 다시 돌리지는 않았다.

대신 연구진은 GSM8K와 MATH의 훈련용 문제로 모델을 실행하고 결과를 살펴보도록 했다. ‘재학습 없이 수정했다’는 설명은 피드백을 전혀 받지 않고 한 번에 고쳤다는 뜻이 아니다.

연구진이 처음 확인한 연습 답변 96개 가운데 85개는 답을 마치기 전에 3만2768토큰 한도에 도달했다. 연구진은 수학 능력 자체보다 반복 추론 때문에 답변을 끝내지 못하는 문제가 실험 대상에 있었다고 봤다.

연구진은 반복에 관여하는 가중치 방향을 찾아 15층과 19층의 일부 값을 조정했다고 설명했다. 조정한 값은 전체 가중치의 일부였지만, 이번 실험은 특정 모델에서 관찰한 반복 추론 문제를 줄이는 데 초점을 맞췄다.

MATH-500 평가에서 토큰 한도에 걸린 답변 비율은 수정 전 93.0%에서 수정 후 33.1%로 낮아졌다. 점수 상승과 함께 답변을 끝까지 생성하지 못하는 비율도 줄었다.

큐원의 공식 모델 카드는 권장 설정에서 큐원 3.5-0.8B가 다른 큐원 3.5 모델보다 생각의 반복에 빠지기 쉽다고 안내한다. 이 설명은 연구가 겨냥한 문제를 뒷받침하지만, 연구진이 보고한 점수를 독립적으로 검증한 것은 아니다.

가중치는 모델이 입력을 처리하고 답을 만들 때 사용하는 수치 매개변수다. 이번 접근은 모델을 다시 학습시키는 대신, 다른 모델이 가중치 일부를 직접 살펴보고 조정할 수 있는지 시험했다.

반복 추론 문제가 드물었던 Gemma 3 270M을 대상으로 한 보조 실험에서는 MATH-500 점수가 기본 6.8%에서 수정 후 최대 7.7%로 바뀌었다. 연구진은 이 결과를 확립된 향상으로 보지 않았다.

따라서 이번 결과를 가중치를 조금 바꾸면 어떤 모델이든 수학 성능이 크게 오른다는 증거로 확대하기는 어렵다. 연구에는 실제 개발 비용이나 작업 시간의 절감 효과를 측정한 결과도 담기지 않았다.

GPT-6 Astra는 이번 실험에서 다른 모델의 가중치를 수정하는 도구로 쓰였다. 오픈AI가 9월 3일 GPT-6 Astra를 출시했다고 밝힌 사실은 앞서 보도했다.

연구진은 실험 기록과 평가 자료, 가중치 수정분을 공개 저장소에 올렸다. 별도 연구팀의 재현 결과는 제시되지 않았으며, 연구는 가상자산이나 반도체 적용 실험도 다루지 않았다.