구글에서 선호하는 출처로 추가
벽돌깨기 517.4점…GPT-6 작성 신경망, 5억 단계 모델보다 20배
이준한 기자
MIT 연구진은 GPT-6 Astra가 학습 자료와 시험 플레이 없이 신경망 가중치를 작성할 수 있는지 시험했다. 기존 언어모델의 일부 가중치를 고쳐 수학 평가 성적을 높인 사례도 제시했지만, 결과는 과제와 모델에 따라 달랐다.
토포AI로 이 기사 더 깊이 읽기
GPT-6 Astra가 게임 규칙과 소스 코드만으로 작성한 신경망이 벽돌깨기에서 517.4점을 기록했다. 같은 구조로 5억 단계를 학습한 강화학습 모델보다 약 20배 높은 점수다.
MIT 컴퓨터과학·인공지능연구소(MIT CSAIL) 연구진은 2일 공개한 연구 설명문에서 이 방식을 ‘가중치 공간 프로그래밍’이라고 불렀다. 신경망 가중치는 입력을 처리하고 결과를 내는 데 쓰이는 숫자다.
실험에서 연구진은 단순화한 벽돌깨기 게임의 규칙과 소스 코드, 모든 가중치가 0인 신경망을 GPT-6 Astra에 제공했다. 가중치를 조정할 학습 데이터는 주지 않았다.
GPT-6 Astra에는 게임을 미리 실행해 볼 기회도 주어지지 않았다. 모델은 공이 떨어질 위치를 계산하고 막대를 움직이는 절차를 가중치 값에 담았다.
연구진은 벽돌깨기 외에 다른 두 게임에서도 같은 방식의 결과를 평가했다. 이 두 게임에서는 GPT-6 Astra가 작성한 신경망이 5억 단계를 학습한 모델을 넘어서지 못했다.
가중치를 ‘직접 작성했다’는 것은 GPT-6 Astra 자체를 다시 훈련했다는 뜻이 아니다. GPT-6 Astra가 별도 신경망에 들어갈 값을 제시했고, 연구진이 그 신경망을 게임에서 평가했다.
연구진은 게임 실험과 별도로 기존 언어모델의 가중치를 고치는 실험도 했다. 알리바바의 큐원 3.5-0.8B(Qwen3.5-0.8B)에서 가중치의 0.016%를 수정하자 MATH-500 정답률이 7.9%에서 48.1%로 올랐다. 큐원의 가중치 일부를 수정해 수학 평가 점수를 높인 결과는 본지도 앞서 보도했다.
연구진이 수정 대상으로 삼은 문제는 큐원이 수학 답변에서 추론을 반복하고도 답을 내놓지 못하는 현상이었다. 모델을 다시 훈련하지 않고 일부 가중치만 바꿨다.
수정 전에는 수학 문제 답변의 93%가 3만2768토큰 한도에 도달했다. 수정 후 이 비율은 33.1%로 낮아졌다.
지시를 따르는 능력을 평가하는 IFEval 점수도 21.0%에서 62.3%로 올랐다. 연구진은 반복 추론을 줄인 것이 성적 개선의 핵심이라고 설명했다.
같은 방식이 모든 모델에서 효과를 낸 것은 아니다. 연구진이 Gemma 3 270M에 적용했을 때 수학 성적은 뚜렷하게 개선되지 않았다.
앞서 공개된 보조 실험 결과에서 Gemma 3 270M의 MATH-500 점수는 기본 6.8%에서 수정 후 최대 7.7%로 바뀌었다. 연구진은 이를 확립된 성과로 보지 않았다.
큐원과 Gemma 3 270M의 차이는 반복 추론 문제의 유무였다. Gemma 3 270M은 추론 반복이 드물었고, 산술과 추론 과정에서의 오류가 주된 문제였다.
이번 결과는 가중치 일부를 직접 다루는 방식이 특정 게임 규칙을 구현하고 특정 모델의 반복 답변 문제를 줄인 사례다. 벽돌깨기 이외의 게임과 Gemma 실험에서는 같은 성과가 확인되지 않았다.
연구진이 제시한 실험은 다른 AI 모델의 성능 향상이나 실제 개발 비용·작업 시간 절감 효과를 측정한 결과는 아니다.
Comment 0
불러오는 중…