위키스킬, AI 에이전트 평균 성능 68.1%로 높였다

구글 리서치(Google Research)와 버지니아테크(Virginia Tech) 연구진이 AI 에이전트의 실행 경험을 누적 지식으로 바꿔 평균 성능을 높이는 프레임워크 위키스킬(WikiSkill)을 공개했다.

연구진은 27일 아카이브(arXiv)에 공개한 논문 "WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution"에서 위키스킬이 5개 벤치마크와 5개 모델 평가에서 기존 스킬 진화 방식과 무스킬 기준을 대체로 웃돌았다고 밝혔다. 제미나이-3.5-플래시(Gemini-3.5-Flash) 기준 평균 성능은 무스킬 49.5%에서 위키스킬 68.1%로 올랐다.

논문 저자는 리얀 탕(Liyan Tang), 사이러스 라시치안(Cyrus Rashtchian), 천성 펑(Chun-Sung Ferng), 앤드루 톰킨스(Andrew Tomkins), 다청 후안(Da-Cheng Juan), 투 부(Tu Vu)다. 이번 연구는 모델 파라미터를 직접 바꾸는 방식이 아니라 에이전트가 남긴 성공과 실패의 흔적을 다음 작업에 활용할 수 있는 지식 구조로 바꾸는 데 초점을 맞췄다.

위키스킬은 에이전트 작업공간을 원시 실행 흔적을 보관하는 Raw Layer, 누적 지식을 정리하는 Wiki Layer, 실행 가능한 절차를 담는 Skill Layer로 나눈다. 이후 추론 에이전트가 작업을 수행하고, 위키 유지자가 성공·실패 흔적을 정리하며, 스킬 제안자가 이를 바탕으로 스킬 수정을 제안한다.

제안된 스킬은 검증 점수가 개선되면 받아들여지고, 그렇지 않으면 되돌려진다. 다만 위키는 되돌리지 않고 남겨 이후 스킬 제안 과정에 다시 쓰이도록 했다. 실패한 실행도 폐기하지 않고 구조화된 지식으로 남기는 설계다.

평가 대상은 수학 추론의 라이브매스(LiveMathematicianBench), 웹 검색의 실큐에이(SealQA), 스프레드시트 조작의 스프레드시트벤치(SpreadsheetBench), 장문 문서 질의응답의 오피스큐에이(OfficeQA), 상호작용형 환경의 ALFWorld다. 논문은 단순한 문제 풀이보다 검색, 문서 처리, 도구 조작, 상호작용 환경에서 경험을 절차로 바꿔 재사용하는 능력을 보려는 설계로 평가를 구성했다.

논문 표에서 위키스킬의 평균 성능은 큐원(Qwen)-3.5-4B 26.2%에서 38.5%, 큐원-3.5-9B 29.9%에서 47.4%, 큐원-3.6-27B 39.4%에서 63.3%로 개선됐다. 젬마(Gemma)-4-31B는 41.3%에서 54.9%, 제미나이-3.5-플래시는 49.5%에서 68.1%로 올랐다.

핵심은 기억을 어디에 두느냐였다. 절제 실험에서 스킬 제안자에게만 위키 접근을 열었을 때 평균 성능은 48.7%에서 63.7%로 올랐다. 반대로 실행 에이전트에도 위키 접근을 허용하면 60.9%로 낮아졌다.

연구진은 실행 단계에서 위키가 직접 답을 제공하면 스킬 개발에 필요한 실패 흔적이 덜 남을 수 있다고 설명했다. 에이전트가 답을 빨리 얻는 것과 장기적으로 더 나은 절차를 배우는 것은 같은 문제가 아니라는 해석이다.

논문은 다른 모델에서 만든 스킬이 옮겨 쓰일 수 있다는 점도 제시했다. 예시로 큐원-3.6-27B가 진화시킨 스킬은 제미나이-3.5-플래시의 라이브매스 성능을 33.0%에서 73.9%로 높였다. 연구진은 이를 스킬을 발견하는 능력과 실제로 실행하는 능력이 구분될 수 있다는 근거로 봤다.

이번 연구는 상용 제품 출시가 아니라 사전 공개 논문 단계다. 피어리뷰를 마친 최종 논문도 아니며, 성능 수치 역시 논문이 설계한 실험 환경에 한정된다. 오피스큐에이 일부 조건이나 소형 모델의 장문 작업에서는 개선폭이 작거나 역효과가 나타난 대목도 논문에 포함됐다.

구글 리서치는 앞서 리즈닝뱅크(ReasoningBank)를 통해 성공과 실패 경험을 추론 메모리로 정리하는 방향을 제시한 바 있다. 위키스킬은 이 흐름을 에이전트 스킬 진화로 옮긴 사례에 가깝다.

한국 크립토 독자에게는 AI 에이전트 운영 방식의 변화로 읽힌다. 최근 온체인 에이전트 인프라가 넓어지는 흐름 속에서, 지갑·결제·데이터 검색을 수행하는 에이전트가 과거 실행 결과를 어떻게 저장하고 재사용할지가 기술 과제로 떠올랐다. 위키스킬은 모델 자체를 바꾸지 않고 경험을 구조화해 다음 작업에 반영하는 접근을 실험했다는 점에서 의미가 있다.

다만 시장 영향은 아직 확인 단계다. 독립 재현 결과와 실제 제품 적용 여부가 공개돼야 위키스킬이 에이전트 메모리와 스킬 라이브러리 설계에 어느 정도 영향을 줄지 판단할 수 있다.