LLM, 인간처럼 추론한다?… '연쇄적 사고(CoT)'에 과신 금물

대형 언어모델(LLM)의 대표적인 추론 기법으로 주목받아온 '연쇄적 사고(Chain-of-Thought, CoT)'가 실제로는 인간 수준의 논리 추론이 아닌, 훈련 데이터에 기반한 패턴 맞추기에 가까운 것으로 드러났다. 미국 애리조나 주립대(ASU) 연구진은 최근 발표한 논문에서 LLM이 훈련 데이터 영역을 조금만 벗어나면 추론 능력이 급격히 무너지는 현상을 정량적으로 입증했다고 밝혔다. 이는 CoT 기반 응용 프로그램 개발자들에게 과신 경계 신호로 해석된다.

연구팀은 기존의 CoT 연구들이 간과했던 ‘데이터 분포’의 관점에서 문제를 재조명했다. CoT는 "생각을 단계별로 풀어내는 방식"을 모델에 요청하는 프롬프트 기법으로, 복잡한 문제 해결에서 인상적인 성과를 보여주며 인간 수준 추론에 근접한 것으로 받아들여져 왔다. 하지만 실제로는 모델이 훈련 중 노출됐던 토큰 패턴을 반복적으로 활용하는 경향을 보인다는 게 연구팀의 지적이다. 즉, 익숙한 문제에는 강하지만, 낯선 상황에서는 헛도는 '그럴듯한 거짓말(fluent nonsense)'을 생산하는 것이다.

연구진은 세 가지 분포 외삽 실험을 통해 이 이론을 입증했다. 첫째는 기존에 훈련받지 않은 유형의 작업에서도 CoT가 이전 작업 논리를 일반화할 수 있는지를, 둘째는 추론 단계 수가 다를 경우(더 짧거나 길 때)에도 일관된 성능을 낼 수 있는지를, 마지막은 프롬프트 문장의 구성이나 표현을 살짝 바꿨을 때 얼마나 민감하게 반응하는지를 시험했다.

그 결과는 뚜렷했다. 모델은 비슷한 데이터에는 적절히 반응했으나, 새로운 유형의 문제에는 훈련된 가장 유사한 사례를 그대로 반복하거나 어색하게 적용하려는 경향을 보였다. 논리적 비약이나 오류도 다수 확인됐다. 특히 프롬프트 구조를 조금만 달리해도 성능은 급격히 하락해, CoT가 논리적 결론이 아닌 ‘보여주기식 추론’에 불과하다는 한계가 드러났다.

흥미로운 점은 모델 성능 저하가 소량의 새로운 데이터(few-shot)를 통한 감독 학습 기반 파인튜닝(SFT)으로 빠르게 복구됐다는 점이다. 연구진은 이를 추상적 추론의 진전이 아닌 새로운 패턴의 추가 암기로 해석했다. 즉, 모델은 학습 데이터를 바탕으로 사전 정의된 분포 내에서만 일정 수준의 실력을 보인다. 이는 곧 CoT가 범용 추론 방식을 제공하는 것이 아니라, 특정 구조 내에서만 기능하는 고급 자동완성기에 불과하다는 의미다.

이와 관련해 연구를 이끈 애리조나 주립대 박사과정 연구원 자오청솨이는 "LLM의 과학적 발전은 인간 중심의 사고를 기반으로 해야 하며, 기계는 보조 수단일 뿐이다"라고 강조했다. 그는 이어 "모델이 진정한 일반화 능력을 가지려면 분포 전이 검증과 같은 엄격한 기준을 충족해야 한다"고 덧붙였다.

연구팀은 실제 현업 개발자들을 위한 세 가지 핵심 권고사항도 함께 제시했다. 첫째는 CoT의 결과를 인간 수준의 추론으로 오해하지 말고, 특히 금융·법률 등 고위험 분야에서 맹신하지 말 것, 둘째는 단순한 검증만으로는 부족하며 분포 밖 테스트(out-of-distribution testing)를 통해 모델의 한계를 식별할 것, 셋째는 파인튜닝을 범용 해법이 아닌 국지적 임시 방편으로 인식하고 전략적으로 사용할 것 등이다.

결국 이번 연구는 CoT에 대한 과도한 기대를 현실화시키는 중요한 경고장이며, 동시에 실무자들에게 모델의 물리적 경계를 명확히 파악하고 활용하라는 실질적인 방향을 제시한다. 제한된 분포 내에서 작동하는 LLM의 구조적 특성을 감안해, 모델이 자주 맞닥뜨릴 작업 유형과 수요를 철저히 분석하면 특정 기업 응용 환경에 맞춘 정밀한 조율이 가능하다는 것이다.

이처럼 범용 지능과는 거리를 두되, 목표에 부합하는 방식으로 LLM의 성능을 극대화하려는 전략적 접근이 이제는 무엇보다 중요해졌다. CoT는 결국, 인간처럼 사고하는 흉내는 낼 수 있지만, 진짜 생각을 하지는 못한다는 현실을 되새겨야 한다.