모델별 준수 점수 41.2%p·34.5%p 상승…첫 토큰 제한·예시 병행

추론 모델 두 종에서 사고 과정의 첫 토큰을 제한하고 사용자 예시를 함께 제시하자, 형식 지시 준수 점수가 각각 41.2%포인트와 34.5%포인트 높아졌다.

하버드대와 매사추세츠공대(MIT), Cambridge Boston Alignment Initiative 소속 연구진은 10월 29일 arXiv에 공개한 논문 'The First Few Tokens Matter: Understanding Chain-of-Thought Controllability'에서 실험 결과를 제시했다.

사고 과정은 모델이 최종 답변을 내기 전에 텍스트로 생성하는 추론 단계다. 이번 연구의 준수 점수는 이 텍스트가 형식 지시를 얼마나 따르는지 측정하며, 최종 답변의 정답률과는 다르다.

◇ 시작 토큰에 따라 달라진 준수 점수

연구진은 Qwen3-14B·32B, OLMo-3.1-32B-Think, GLM-5.2를 대상으로 8개 지시 과제를 시험했다. 특정 단어를 생략하거나 문장마다 표식을 붙이고, 스페인어·대문자·리트스피크로 작성하도록 하는 과제 등이 포함됐다.

과제는 정보를 더하거나 문체를 바꾸는 지시와 특정 정보를 억제하는 지시를 다뤘다. 연구진은 사고 과정에서 지시를 따르는 정도를 평가해 최종 답변의 정확도와 구분했다.

지시가 없을 때 Qwen3-32B가 첫 추론 토큰으로 'Okay'를 선택할 확률은 99.89%였고, OLMo-3.1-32B-Think는 99.52%였다. 두 모델 모두 'Okay'와 'Alright'를 합치면 해당 확률이 99.99%를 넘었다.

연구진은 규칙에 맞는 토큰으로 사고 과정을 미리 시작하는 방식과 'Okay', 'Alright'를 첫 토큰으로 쓰지 못하게 하는 방식을 시험했다. 여기에 사용자 지시에 예시를 더해 토큰 제한의 효과도 살폈다.

한 토큰만 미리 넣어도 정보 추가와 문체 변경 과제에서 준수율이 높아졌다. 토큰을 더 넣었을 때 추가 개선 폭은 상대적으로 작았다.

첫 토큰 제한과 사용자 예시를 함께 적용한 조건에서 Qwen3-32B의 평균 점수는 0.078에서 0.490으로 올랐다. OLMo-3.1-32B-Think는 0.029에서 0.374로 높아졌다.

이는 각각 41.2%포인트와 34.5%포인트 상승에 해당한다. 두 수치는 해당 모델과 실험 조건의 결과로, 추론 모델 전반의 평균 개선을 뜻하지 않는다.

특정 정보를 쓰지 말라는 억제 과제에서는 같은 효과가 일관되게 나타나지 않았다. 미리 넣은 토큰이 단어 생략에 미친 영향은 작았고, 예시의 효과도 모델과 조건에 따라 달랐다.

연구진은 정보를 추가하거나 문체를 바꾸는 능력과 정보를 억제하는 능력을 구분해 평가할 필요가 있다고 봤다. 한 종류의 지시 준수 점수만으로 모델의 통제 능력을 판단하기 어렵다는 취지다.

◇ 사고 과정 평가의 해석

이번 논문은 모델이 텍스트로 드러내는 사고 과정을 얼마나 신뢰하고 감시할 수 있는지를 다룬 연구와 맞닿아 있다. 다만 텍스트로 표현된 사고 과정이 모델의 내부 추론 전체를 그대로 보여준다는 뜻은 아니다.

2026년 3월 공개된 CoT-Control 연구는 클로드 소네트 4.5가 사고 과정 지시는 2.7%, 최종 답변 지시는 61.9% 따랐다고 보고했다. 이번 연구는 낮은 사고 과정 점수가 모델의 시작 문구에서 비롯된 것인지 시험했다.

2026년 10월 공개된 별도 연구는 지시를 사고 과정 안에 자기 지시 형태로 넣으면 통제 성능이 높아지고, 모니터 회피 실험에서도 효과가 나타났다고 보고했다. 두 연구는 지시를 넣는 위치와 과제가 달라 결과를 직접 비교하기 어렵다.

이번 논문 저자들은 12개 모델을 비교해 지시 유형과 평가 과제에 따라 통제 점수와 감시 성능의 관계가 달라진다고 밝혔다. 비교 모델 수가 12개에 그쳤고 일부 점수가 바닥이나 천장에 몰리는 등 불확실성이 있다는 점도 논문에 담겼다.

이번 연구 자체는 의도적인 모니터 회피를 시험하지 않았다. 개발비나 추론비 절감액도 측정하지 않았으며, API 제약으로 GLM-5.2에서는 첫 토큰 제한 실험을 진행하지 못했다.

연구진은 사고 과정의 시작 형식을 바꾸는 능력과 이후 내용을 조절하는 능력을 나눠 평가할 것을 제안했다.