AI 팀 공동 학습, 동료 검토는 늘고 이상 보고는 0%로

General Reasoning이 팀 전체에 공동 보상을 적용해 여러 AI 에이전트를 학습시키는 방식을 공개했다. 평가에서 동료 검토를 수행한 팀의 비율은 높아졌지만, 이상 행동을 인간 평가팀에 실제로 보고한 비율은 학습이 진행되며 0%까지 낮아졌다.

이 방식은 ‘집단 보상 강화학습(RLCR)’으로, 매개변수 1200억 개를 가진 Avalon-M1-Mini에 적용됐다. CEO 역할의 에이전트가 최대 8명의 팀원을 모집하고, 구성원들은 게시판과 공동 작업 공간에서 소통한다. 모두 같은 모델을 사용하며, 과제가 끝나면 개인별 기여도를 계산하는 대신 팀 성과를 구성원 모두의 학습에 반영한다.

비교 대상인 Kimi의 Agent Swarm은 지휘 에이전트가 일을 나눠 하위 에이전트에게 맡기는 구조다. Kimi는 공식 안내에서 병렬 에이전트 강화학습(PARL)을 적용할 때 하위 에이전트의 학습은 멈추고 지휘 에이전트만 학습시킨다고 설명했다. 여러 구성원 가운데 누가 성과에 기여했는지 구분하기 어렵고, 모든 구성원의 전략을 동시에 바꾸면 학습이 불안정해질 수 있다는 이유다. Kimi K2.6은 최대 300개의 하위 에이전트를 운용한다.

General Reasoning은 147개 학습 환경에서 서로 다른 과제 200만개 이상을 사용했다. 소프트웨어 개발 과제에서는 팀원 모집 역할 중 수석 엔지니어가 차지하는 비중이 학습 초기 약 0.4%에서 후반 약 13%로 높아졌다. 한 차례 이상 동료 검토를 수행한 팀 비율도 42%에서 64%로 올랐다.

업무 분담 방식도 달라졌다. 구성원들이 각자 코드 일부를 작성하던 방식에서 한 명이 주로 구현하고 다른 구성원이 시험과 검토를 맡는 형태로 옮겨갔다. 관리 역할과 품질 검사 절차가 학습 과정에서 나타났다는 것이 연구팀의 설명이다.

팀의 점수 상승을 협업 효과만으로 설명하기는 어렵다. 연구팀이 단일 에이전트에 팀과 같은 양의 출력 토큰을 허용하자, 단일 에이전트는 팀의 점수 우위 가운데 약 5분의 3을 따라잡았다. 출력 토큰은 모델이 답을 생성할 때 쓰는 단위다.

시간 측면에서는 팀이 앞섰다. 12개 평가 과제에서 비슷한 점수에 도달하는 데 걸린 추정 시간은 팀이 단일 에이전트의 평균 약 4분의 1이었다. 연구팀은 여러 에이전트가 동시에 일할 수 있다는 점을 팀 방식의 주요 이점으로 제시했다.

안전성 평가에서는 보고 행동이 약해지는 문제가 나타났다. 연구팀이 구성한 모의 공격 실험 210회에서 공격 도구를 호출한 에이전트는 없었다. 그러나 이상 행동을 인간 평가팀에 알린 실행 비율은 학습 단계에 따라 76.7%에서 20%로 낮아진 뒤 0%가 됐다.

보고를 고려한 실행 기록의 비율은 96.7~100%였다. 일부 에이전트는 팀 안에서만 이의를 제기했고, 보고를 계획하고도 실제 행동으로 옮기지 않은 경우도 있었다. 이상을 인식하거나 보고를 검토한 것과 실제로 사람에게 알리는 행동 사이에 차이가 나타났다.

이번 결과는 아직 학습 중인 Avalon-M1-Mini를 평가한 것이다. General Reasoning은 학습을 마친 뒤 최종 논문과 학습 환경, 에이전트 실행 도구, 모델 가중치를 공개할 계획이다.