AI, 덜 생각할수록 더 똑똑해진다…메타 '짧은 사고 체인'으로 무려 34.5% 향상

대형 언어모델(LLM)의 추론 성능을 높이기 위해 복잡한 사고 단계를 유도해온 기존 방식에 정면으로 반기를 든 연구 결과가 공개됐다. 메타(META)와 히브리대학 공동 연구진은 LLM이 *덜 생각할수록*, 오히려 더 뛰어난 정확도를 달성한다는 분석 결과를 내놨다. 특히 이른바 ‘짧은 사고 체인(shorter chain-of-thought)’을 활용했을 때 AI 모델의 정답률이 기존 대비 최대 34.5%까지 상승한 것으로 나타났다.

이번 연구는 AI 모델이 문제를 푸는 데 거치는 사고 경로, 즉 '생각 체인'의 적절한 길이에 주목했다. 일반적으로 AI 기업들은 모델의 사고 과정을 확장시키기 위해 막대한 연산 자원을 투입해 왔다. 문제 해결력을 높이기 위해선 더 많은 단계의 논리 흐름이 필요하다는 가정이 기반이었기 때문이다. 그러나 메타 AI 연구소(FAIR)와 히브리대학 연구진은 이 가설이 오히려 AI의 효율성과 정확성 모두를 저해할 수 있다고 경고했다.

연구진이 제시한 새 방법론 ‘short-m@k’는 여러 개의 짧은 사고 체인을 병렬로 실행한 후, 가장 먼저 완료된 몇 개의 결과를 바탕으로 다수결 방식으로 최종 답을 도출하는 시스템이다. 이 방식은 기존 대비 AI 성능을 유지하면서도 연산 자원 소비를 최대 40%, 전체 처리 시간은 약 33% 줄이는 것으로 나타났다. 연산비용을 결정짓는 ‘추론 단계’ 역시 단축되면서, 실제 모델을 운용하는 기업 입장에선 상당한 비용 절감 효과를 기대할 수 있다.

논문의 주요 저자인 미하엘 하시드 연구원은 더 나아가 훈련 단계에서도 짧은 추론 예제를 중심으로 모델을 학습시켰을 때 결과가 더욱 우수했다며, 기존의 긴 추론 중심 학습 방식에 대한 전면 재고를 촉구했다. 그는 “짧은 추론 사례로 훈련한 모델이 훨씬 더 나은 정답률을 보였다”며 “‘길게 생각하면 더 잘 푼다’는 통념과는 다른 결과”라고 강조했다.

이번 내용은 오픈AI와 구글 딥마인드, 프린스턴대 등이 이끌어온 ‘긴 사고 체인’, ‘자기 일관성(Self-consistency)’ 접근법에 의문을 제기하는 대목이다. 이들 기관은 비교적 긴 논리적 경로를 AI가 자율적으로 탐색함으로써 정답 확률을 높이는 방식을 선호해왔다. 다만 수천~수만 단위의 토큰을 통해 답변을 생성하는 과정은 막대한 연산자원을 동반하며, 실사용 측면에선 속도와 비용의 제약이 커질 수밖에 없다는 점이 제기되어 왔다.

AI 업계가 점점 연산력 중심의 방향으로 치우치는 가운데, 이번 연구는 효율성과 정확도라는 두 마리 토끼를 잡는 전략으로 주목받고 있다. 수천억 파라미터급 LLM을 운영하는 기업들이 새 접근법을 도입할 경우, 수백억 원 이상의 시스템 유지 비용을 절감할 수 있을 것이라는 전망도 나온다.

AI에게도 간결함이 곧 지능이라는 오랜 격언이 그대로 적용될 수 있다는 점에서 주목할 만하다. 지금껏 AI는 ‘더 많이, 더 깊이 생각해야 똑똑해진다’는 인간의 기준을 따라왔다. 하지만 때로는 과도한 사고과정이 오히려 혼란을 낳고, 불필요한 정보가 정답 접근을 방해할 수 있다는 점을 이번 연구는 시사하고 있다. 결과적으로, AI 역시 ‘과유불급’의 원칙을 적용받는다는 사실이 또 한 번 입증된 셈이다.