재귀 풀이 0→100%…빨간 하트에 클로드·GPT-5.4 반응

빨간 하트 이미지를 본 클로드 오퍼스 4.7(Claude Opus 4.7)과 GPT-5.4가 이진트리 문제를 재귀 방식으로 푼 비율이 통제 실험에서 0%에서 100%로 높아졌다. 이미지 없이 문제를 풀 때는 두 모델 모두 재귀 방식을 선택하지 않았다.

구글 딥마인드(Google DeepMind)와 스탠퍼드대학교(Stanford University) 연구진은 10월 27일 arXiv에 공개한 논문 ‘A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs’에서 시각언어모델의 시각 단서 처리와 시각적 소통을 살폈다. 연구진은 결과를 예비 연구로 소개했다.

시각언어모델(VLM)은 이미지와 글을 함께 처리하는 AI 모델이다. 이번 연구는 모델이 이미지의 내용을 정확히 이해하는지보다, 문제와 직접 관련이 없는 이미지가 풀이 방식이나 다른 응답에 영향을 주는지를 살폈다.

코딩 실험에서 모델들은 이진트리의 중위 순회 코드를 작성했다. 재귀는 함수가 자신을 다시 호출하는 방식이고, 반복은 반복문을 이용하는 방식이다. 연구진은 각 조건에서 나온 답변 20개 가운데 재귀 방식을 선택한 비율을 비교했다.

이미지가 없을 때 클로드 오퍼스 4.7과 GPT-5.4의 재귀 풀이 비율은 모두 0%였다. 빨간 하트 이미지를 제시하자 두 모델은 답변 20개 모두 재귀 방식으로 작성했다. 제미나이 3.1 프로(Gemini 3.1 Pro)는 이미지가 없을 때 40%였고, 노란색 체크 표시를 제시했을 때 90%였다.

이 비율은 각 모델이 재귀와 반복 중 어떤 풀이 방식을 골랐는지를 나타낸다. 정답률이나 코드 품질을 측정한 결과는 아니다.

연구진은 도형 24개와 색상 12개를 조합한 시각 기호 288개도 시험했다. 반응이 큰 기호는 모델마다 달랐고, 모든 모델에 같은 방식으로 작용하는 단일 기호는 없었다.

◇ 이미지가 풀이와 기록에 미친 영향

연구진은 이미지를 글로 설명하거나 무작위 잡음 이미지와 일반 사진을 제시하는 조건도 비교했다. 이런 조건에서는 단순 도형 이미지에서 나타난 것과 같은 양상의 변화가 나타나지 않았다.

시험은 코딩에만 그치지 않았다. 연구진은 글쓰기 방식과 간단한 선호 질문에서도 색과 도형이 응답을 바꾸는지 살폈다. 하트와 분홍색 도형은 세 모델이 전문적인 문체보다 시적인 문체를 택하도록 유도했고, 파란 삼각형을 본 제미나이 3.1 프로와 GPT-5.4는 여름보다 겨울을 선호한다고 답하는 경향을 보였다.

모델의 추론 기록을 실제 선택과 대조한 결과도 차이를 보였다. 제미나이 3.1 프로는 이미지가 풀이 선택에 영향을 준 것으로 분류된 기록 1,524건 가운데 71.5%에서 이미지를 무관한 요소로 취급했다. GPT-5.4는 이미지가 선택을 바꾸지 않은 기록 2,826건 가운데 74.7%에서 이미지가 선택에 영향을 준 것처럼 기록했다.

이 기록은 연구진이 정한 기준에 따라 분류한 것이다. 연구진은 기록만으로 모델 내부에서 이미지가 작동한 원인을 직접 확인할 수 있는 것은 아니라고 선을 그었다.

이미지를 보라는 지시 없이 문맥에 삽입한 별도 실험에서도 시각 단서가 행동에 영향을 주는 사례가 나왔다. 이때 GPT-5.4의 기록은 영향을 받은 경우에도 이미지를 언급하지 않았고, 제미나이 3.1 프로는 그런 기록이 52.3%였다.

◇ 모델끼리 그림을 주고받는 실험

연구진은 한 모델이 다른 모델의 풀이를 유도하도록 기호나 그림을 만들게 하는 실험도 했다. 재귀 풀이를 유도하는 데 효과가 큰 하트와 삼각형 대신, 클로드 오퍼스 4.7은 나선·무한대·화살표처럼 사람이 보기에도 재귀를 연상하기 쉬운 도형을 주로 골랐다. 모델이 이미지를 만들 때 쓰는 시각적 연상과 이미지를 받아들일 때 나타나는 반응이 다를 수 있음을 보여주는 사례다.

추상적인 개념과 짧은 이야기를 그림으로 전달하는 과제에서는 자유롭게 그린 그림과 정해진 도형 기호를 비교했다. 자유형 그림은 첫 시도에서 91.2%, 여러 차례 조정한 뒤에는 97.8%가 의도한 답을 전달했다. 정해진 기호만 쓴 경우 첫 시도 성공률은 47.8%였고, 30.7%는 최대 5차례의 조정에도 뜻을 전달하지 못했다.

사람과 모델의 해석 차이를 살핀 실험에는 사람 7명이 참여했다. 이 탐색적 실험에서 사람의 판단이 모델의 행동을 유도한 기호와 일치한 비율은 약 36%로, 두 선택지 중 하나를 우연히 고르는 기준인 50%보다 낮았다.

기호를 주고받으며 여러 차례 조정하자 모델 간 소통은 나아졌지만 사람이 읽기는 어려워지는 경향도 나타났다. 재귀와 반복을 구분하는 기호의 사람 해석 정확도는 첫 시도 이미지에서 66.7%, 마지막 이미지에서 44.4%로 낮아졌다. 개념 전달 과제는 56.7%에서 40.0%로, 이야기 전달 과제는 77.8%에서 55.6%로 각각 하락했다.

연구진은 이런 결과가 화면 캡처나 그래픽 사용자 인터페이스를 다루는 AI 에이전트의 감독과도 관련될 수 있다고 설명했다. 추론 기록만 살피면 시각 입력이 행동에 준 영향을 놓칠 가능성이 있다는 문제 제기다.

다만 과제는 모델 행동을 살피기 위해 설계된 통제 실험이며, 사람 대상 실험도 소규모 탐색 연구다. 연구진은 실제 업무 환경에서 같은 현상이 어떻게 나타나는지 추가 연구가 필요하다고 밝혔다.