성공률 96.9%, 메타 AI 하네스 학습법 제안

메타($META) AI와 일리노이대 어바나-샴페인(UIUC) 연구진이 장기 작업형 대규모언어모델(LLM) 에이전트의 실행 계층을 학습시키는 에보하네스-RL(EvoHarness-RL)을 제안했다. 큐원3-8B(Qwen3-8B) 모델은 ALF월드(ALFWorld) 기준 평균 성공률이 리액트(ReAct) 47.9%에서 96.9%로 높아졌다.

연구진은 한국시간 8월 6일 오전 7시29분 아카이브(arXiv)에 공개한 논문에서 장기 상호작용형 에이전트가 상태 유지, 진행 추적, 도구 호출, 결과 검증, 경험 재사용을 위해 외부 실행 지원에 의존한다고 밝혔다. 휴깅페이스(Hugging Face) 데일리 페이퍼스도 해당 논문을 소개했다.

이번 연구의 초점은 에이전트에 도구나 메모리를 더 붙이는 데 있지 않다. 에이전트가 외부 상태를 언제 읽고, 갱신하고, 불러오고, 기록할지를 학습하게 하는 데 있다.

연구진은 외부 상태를 믿음(Belief), 진행(Progress), 경험(Experience)으로 나눴다. 믿음은 현재 환경에 대한 판단, 진행은 완료·미완료 작업 흐름, 경험은 이전 작업에서 얻은 재사용 지식을 뜻한다.

에이전트는 이 세 상태를 바탕으로 △트랙(track) △커밋(commit) △리콜(recall) △노트(note) 같은 하네스 동작을 선택한다. 트랙은 상태를 읽고, 커밋은 진행 상황을 기록하며, 리콜은 과거 경험을 불러오고, 노트는 새로 얻은 정보를 남기는 방식이다.

학습은 두 단계로 이뤄졌다. 연구진은 먼저 감독학습으로 하네스 사용법을 익히게 한 뒤, 비용 인지형 그룹 상대 정책 최적화(GRPO)로 어느 순간 외부 상태 접근이 필요한지 조정했다.

수치만 보면 개선 폭은 크다. 논문 표에서 큐원3-8B 기반 에보하네스-RL은 ALF월드 seen split 140개 과제 평균 성공률 96.9%를 기록했다. 같은 조건의 리액트는 47.9%였다.

비교 대상인 스킬오에스(SkillOS)는 80.2%, 스킬RL(SkillRL)은 89.9%였다. 클로드 오퍼스 4.5(Claude Opus 4.5)는 리액트 기준 96.4%, 에보하네스-베이스(EvoHarness-Base) 적용 시 98.5%를 기록했다.

보지 못한 환경에서도 차이는 이어졌다. 큐원3-8B의 unseen split 성공률은 리액트 50.0%에서 에보하네스-RL 86.6%로 올랐다.

다만 성능 향상을 강화학습 하나의 효과로만 보기는 어렵다. 같은 논문에서 큐원3-8B에 프롬프트 단계 BPE 하네스를 붙인 에보하네스-베이스는 seen split에서 56.4%, 감독학습 버전인 에보하네스-SFT는 68.6%를 기록했다.

unseen split에서는 에보하네스-베이스가 77.6%, 에보하네스-SFT가 69.4%, 에보하네스-RL이 86.6%였다. 하네스 구조 자체와 이를 언제 쓰게 할지 학습하는 정책이 함께 작동한 셈이다.

하네스는 LLM 에이전트를 실제 작업 환경에서 움직이게 하는 실행층이다. 모델이 무엇을 기억할지, 어떤 도구를 호출할지, 실패했을 때 어떤 상태로 되돌아갈지, 작업 기록을 어떻게 남길지를 관리한다.

이 논점은 국내 AI·크립토 독자에게도 작지 않다. 에이전트가 온체인 분석, 지갑 추적, 보안 점검, 자동화 보조 작업에 쓰일수록 모델명보다 실행 구조의 검증 가능성이 중요해지기 때문이다. 본지는 앞서 하네스 설계가 모델 훈련과 별개의 성능 개선 축으로 쓰이고 있다고 보도했다.

장기 작업형 에이전트는 한 번의 답변보다 여러 단계의 실행, 상태 추적, 실패 복구가 중요하다. 기업용 AI 에이전트 경쟁도 모델 성능에서 문맥 관리와 권한, 오류 복구, 검증 체계를 포함한 운영 시스템으로 이동하고 있다는 분석이 이어진다.

다만 공개된 자료는 벤치마크 실험과 개념 검증에 가깝다. 실제 기업 운영 환경에서 지연시간, 비용, 보안, 장애 복구까지 검증됐는지는 확인되지 않았다.

이번 논문이 보여준 것은 에이전트 성능의 병목이 모델 크기뿐 아니라 외부 상태를 다루는 방식에도 있다는 점이다. 논문은 에보하네스-RL이 2026년 COLM 장기언어에이전트 워크숍(LLA@COLM 2026)에 채택됐다고 밝혔다.