구글 제미니, '추론 토큰' 숨기자 개발자 반발…AI 투명성 논쟁 점화

구글(GOOGL)이 최근 발표한 AI 모델 '제미니 2.5 프로(Gemini 2.5 Pro)'에서 내부 추론 과정을 나타내는 '추론 토큰(reasoning token)'을 숨기는 방향으로 기능을 변경하자 기업 개발자들의 반발이 거세지고 있다. 이는 복잡한 시스템 통합 과정에서 AI의 작동 논리를 확인하고 조정하던 개발자들에게 사실상 '눈가리고 디버깅하라'는 것과 같다는 비판이 쏟아지는 배경이다.

이번 변경으로 제미니는 응답을 도출하기 전 단계적으로 거치는 사고 흐름, 이른바 '연쇄적 사고(Chain of Thought, CoT)' 과정을 더는 명시하지 않는다. 이는 응답 요약본으로 대체되어 사용자 경험(UI)은 한결 간결해졌지만, 결과 도출의 논리적 근거를 파악하려는 개발자 입장에서는 결정적인 기능의 실종으로 받아들여진다.

제미니 모델이 기존에 보여주던 연쇄적 사고는 AI가 데이터를 어떻게 분석하고, 어떤 정보를 참고했는지, 오류를 어떻게 수정하는지를 단계적으로 보여주는 방식이었다. 이런 기능은 오픈AI(OpenAI)의 O1 및 O3 모델 대비 구글 모델만의 강점으로 평가받아 왔으며, 특히 에이전트 기반 작업 실행이나 고정밀 프롬프트 조정 등 고급 AI 시스템 개발 과정에서 핵심 도구로 활용돼 왔다.

구글 개발자 포럼에는 “문제를 정확히 진단할 방법이 사라졌다”, “이제는 원인을 추정하며 디버깅해야 한다”는 항의가 이어졌다. 일부 개발자들은 반복적인 오류 수정 시도에 좌절을 표했으며, AI 시스템의 성능을 능동적으로 제어하던 개발자 입장에선 치명적인 장애 요소로 평가되고 있다.

이러한 변화가 기업에 미치는 영향도 작지 않다. AI를 기반으로 한 업무 자동화와 고위험 의사결정 영역에서는 AI 판단의 '투명성'이 곧 신뢰성과 직결되기 때문이다. 구글의 이번 조치가 사실상 AI 내부 구조를 ‘블랙박스’화 하려는 움직임으로 해석되며, 상대적으로 높은 투명도를 제공하는 오픈소스 모델인 딥시크(DeepSeek) R1, 알리바바의 QwQ-32B 등에게 반사 이익이 돌아갈 수 있다는 분석도 나온다.

논란이 커지자 구글 딥마인드 소속 로건 킬패트릭(Logan Kilpatrick) 제품 총괄은 “내부 성능에는 아무런 영향을 주지 않는 미관상 조치”라고 해명했다. 그는 대부분의 제미니 앱 사용자가 사고 과정을 읽지 않기 때문에 응답 요약 형태로 개선했다고 전했다. 그러면서 “개발자용 API에서 추론 과정을 다시 제공하는 형태는 고려할 수 있다”며 일부 기능 복원을 시사했다.

실제로 구글 내부에서도 개발자 전용 모드로 원형 추론 데이터를 다시 공개하는 방안이 논의되고 있는 것으로 알려졌다. AI가 더 자율적인 행동을 하고 복잡한 절차를 실행하는 방식으로 진화하는 가운데, 이 같은 ‘관찰가능성(observability)’은 필수 기능으로 격상될 수밖에 없다.

한편 이와는 다른 시각도 존재한다. 애리조나주립대 섭바라오 캄밤파티(Subbarao Kambhampati) 교수는 "대다수 사용자는 AI가 생성한 중간 토큰을 이해하기 어렵다"며, 해당 데이터가 오히려 혼란을 가중시킬 수 있다고 우려했다. 그는 실험 결과, 잘 구성되지 않은 연쇄 사고를 학습한 모델도 정확하게 문제를 해결할 수 있다는 점을 근거로 '중간 토큰=사고 과정'이라는 판단이 위험할 수 있다고 밝혔다.

캄밤파티 교수는 특히 이들이 모델 학습에서 매우 가치 있는 데이터로 간주되고 있기 때문에, 구글과 오픈AI가 이를 비공개로 전환한 것 역시 일종의 경쟁 방어 수단일 수 있다고 분석했다. 다른 기업이 해당 데이터를 이용하여 더 작은 모델을 학습시키는 '디스틸레이션(distillation)'이 활발히 이뤄지는 시장 환경을 고려한 대응이라는 해석이다.

AI 추론을 얼마나 투명하게 공개할 것인지를 둘러싼 논쟁은 단순한 기능 선택을 넘어 향후 AI 플랫폼의 경쟁 구도 전반에 영향을 주는 구조적 이슈로 번지고 있다. 모델의 성능을 테스트 점수로만 평가하던 시대는 끝났다. 조직의 기술 리더는 최고 성능의 모델과 최고 투명도의 모델 사이에서 전략적 결정을 내려야 하는 시점에 서 있는 것이다.