AI 에이전트 9개 환경서 협업 난항…공통 규칙은 일부 개선

사전 조율 없이 처음 만난 대형언어모델(LLM) 기반 AI 에이전트가 단순한 협력 과제에서도 규칙을 다르게 해석해 협업에 실패하는 사례가 확인됐다. 공통 원칙을 주자 일부 환경의 실패율은 낮아졌지만 모든 과제에 통하는 해법은 아니었다.

옥스퍼드대(University of Oxford) 연구진은 11월 4일 공개한 논문 ‘Zero-Shot Coordination among LLM Agents’에서 에이전트의 ‘제로샷 조정(ZSC)’ 능력을 시험했다. ‘Cat & Dog’, ‘Tiny Hanabi’ 등 9개 단순화된 게임 환경에서 독립적으로 만들어진 에이전트들이 처음 짝을 이뤄 과제를 수행하도록 했다.

제로샷 조정은 에이전트들이 사전에 대화하거나 상대에게 적응하지 않은 채 처음 만나 협력하는 상황을 뜻한다. 서로 공유하지 않는 규칙을 각자 가정하면 같은 행동이나 신호를 다르게 해석할 수 있다.

‘Cat & Dog’에서는 한 에이전트가 고양이나 개를 본 뒤 불빛으로 정보를 전하고, 다른 에이전트가 동물을 맞힌다. 불을 켜는 행동을 고양이로 볼지 개로 볼지 사전에 합의하지 않으면 같은 신호가 서로 다른 뜻을 갖는다.

실험에서 제미나이 3 프로는 불이 켜진 상태를 고양이와 연결하는 규칙을 택했고, GPT-5.2는 같은 신호를 반대로 해석한 사례가 있었다. 각 에이전트가 스스로 정한 규칙을 상대도 따를 것으로 여긴 셈이다.

연구진은 벽을 없애 한쪽 에이전트가 본 동물을 다른 쪽도 직접 볼 수 있게 하는 선택지도 마련했다. 그런데도 일부 에이전트는 임의로 정한 불빛 규칙에 기대는 모습을 보였다.

코드로 행동 규칙을 만드는 실험에서도 차이가 나타났다. 같은 정책끼리 짝지었을 때보다 독립적으로 생성한 정책을 조합했을 때 성적이 낮았다.

규칙의 이름을 바꾸거나 과제 설명을 다른 언어로 제시했을 때 선택이 달라지는 사례도 있었다. 연구진은 과제의 표현 방식과 상대 행동을 추론하는 능력이 협업 실패 양상에 함께 작용한다고 설명했다.

다만 연구진은 각 요인이 실패를 일으킨 원인을 따로 분리해 입증하지는 않았다. 모델의 일반적인 성능이 높거나 추론을 더 많이 한다고 해서 처음 만난 상대와 반드시 더 잘 협업하는 것도 아니었다.

◇ 공통 원칙, 일부 환경에서만 효과

연구진은 에이전트가 함께 따를 자연어 원칙인 ‘협업 친화 정의(CFD)’를 프롬프트에 넣었다. 임의의 관습이나 역할 배정에 기대지 않도록 공통 규칙으로 행동을 유도하는 방식이다.

‘Cat & Dog’에서는 CFD가 에이전트로 하여금 불빛 신호를 쓰는 대신 상대가 동물을 직접 볼 수 있게 하는 선택을 하도록 이끌었다. 과제에 따라서는 신호 체계를 따로 맞추지 않아도 협력할 수 있도록 한 것이다.

텍스트 에이전트 실험에서 CFD 적용 후 9개 환경 가운데 Grok 4.1 Fast는 6개, GPT-5.2는 5개 환경에서 협업 실패율이 낮아졌다. 이 수치는 실패율이 개선된 환경의 수이며, 각 모델의 전체 실패율을 뜻하지 않는다.

공통 규칙이 오히려 선택의 폭을 좁힌 환경도 있었다. 에이전트가 안전한 행동만 반복하면서 과제 수행에 필요한 새 관습을 형성하지 못하는 경우였다.

연구진은 규칙을 자동으로 탐색하는 방법도 시험했다. 자동 탐색한 정의는 학습에 쓰지 않은 일부 모델에서도 제한적인 개선을 보였지만, 모든 모델 조합에서 효과가 확인되지는 않았다.

본지는 앞서 45개 AI 에이전트 실험에서 작업에 따라 협업 결과가 달라진 사례를 보도했다. 가상자산 거래소가 AI 에이전트에 주문 권한을 부여한 사례도 있었지만, 이번 연구는 단순화된 게임 환경만 다뤄 실제 업무나 로봇 환경의 성능을 입증하지 않았으며 가상자산 거래나 블록체인 서비스의 에이전트 협업도 시험하지 않았다.