AI 에이전트, 채택 안 된 수정도 성능 개선에 활용

AI 에이전트가 채택하지 않은 수정안의 결과까지 다음 개선에 활용하는 방법이 제시됐다. 연구진이 제안한 HMED는 두 모델과 세 가지 평가 과제를 조합한 6개 실험 설정에서 비교 대상보다 높은 평균 후속 성능을 기록했다.

칭화대와 상하이교통대, 상하이혁신연구원 소속 연구진은 10월 6일 논문 사전 공개 사이트 arXiv에 ‘수정 결과에서 배우기: 자기 개선 에이전트를 위한 사후 메타 경험 증류’를 공개했다. 논문에서 ‘Meta’는 기업 메타가 아니라 에이전트가 자신의 개선 방식을 다루는 ‘메타 스킬’을 뜻한다.

에이전트가 과제를 직접 수행할 때 쓰는 능력은 ‘태스크 스킬’, 그런 능력을 찾고 고치는 절차는 ‘메타 스킬’이다. 개선 작업의 최종 결과만 보면 성과가 좋은 출발 조건 때문인지 수정한 절차 때문인지 구분하기 어렵다.

HMED는 메타 스킬을 수정하게 된 과거 상태를 복원한 뒤 수정 전과 수정 후의 방식을 각각 실행해 결과를 비교한다. 비교 결과는 ‘메타 경험’으로 기록돼 다음 수정 과정에 전달된다. 수정안이 채택되지 않더라도 탐색 과정과 발견한 능력이 어떻게 달라졌는지는 이후 개선에 활용할 수 있다.

연구진은 Qwen3-32B와 DeepSeek-v4-Flash 모델을 ALFWorld, ScienceWorld, BiomniBench-DA 등 세 가지 과제에 적용했다. 논문은 두 모델과 세 과제를 조합한 6개 설정 모두에서 HMED가 비교 대상보다 높은 평균 후속 성능을 기록했다고 제시했다.

Qwen3-32B의 ALFWorld 성공률은 기존 메타 스킬 진화 방식인 MetaSkill-Evolve의 51.49%에서 HMED의 54.11%로 높아졌다. ScienceWorld 성공률은 20.84%에서 22.56%로 상승했다. 생의학 분석 과제인 BiomniBench-DA 점수는 100점 만점 기준 17.80점에서 20.78점으로 올랐다.

연구진은 수정 결과를 다음 업데이트에 전달하는 단계를 뺀 비교 실험도 진행했다. ALFWorld에서 이 설정의 성공률은 49.25%로, HMED 전체 방식의 54.11%보다 4.86%포인트 낮았다. 연구진은 수정 결과를 다음 개선에 전달하는 과정도 해당 실험의 성능 차이에 기여했다고 설명했다.

이번 연구는 에이전트의 개선 절차를 벤치마크에서 평가했다. 가상자산 거래 에이전트나 실제 서비스 성능을 측정한 결과는 제시하지 않았다.

실패한 시도와 수정 내용을 학습에 반영해 도구 호출 실패율을 낮춘 퍼플렉시티의 연구 사례도 있다. 두 연구는 실패에서 얻은 정보를 이후 개선에 활용한다는 점에서 맞닿아 있지만, 이번 논문은 수정 전후의 메타 스킬을 같은 상태에서 비교하는 방법을 다뤘다.