마이크로소프트, AI 기억 검증 후 통과율 39%→73%

마이크로소프트($MSFT) 연구진이 AI 에이전트의 장기 기억을 저장하기 전 실제 환경에서 검증하는 방식을 제시했다. 논문 실험에서 데이터베이스 탐색 과제 통과율은 39%에서 73%로 높아졌고, 질문당 작업 에이전트 비용은 3.38달러(약 4540원)에서 1.68달러(약 2260원)로 줄었다.

마이크로소프트 연구진은 10일 공개한 논문 ‘Grounding Agent Memory: Environment-Probing Curation for Enterprise Agents’에서 이 방식을 ‘환경 탐색형 기억 정리’로 설명했다. 후보 기억을 저장하기 전 별도의 정리 에이전트가 데이터베이스와 파일 등 실제 환경을 읽기 전용으로 조회해 사실관계와 적용 범위를 확인하는 구조다. 논문 원문

기존 방식에서는 작업이 끝난 뒤 정리 에이전트가 작업 과정에서 얻은 정보를 바탕으로 ‘배운 점’을 장기 기억에 남긴다. 이때 잘못된 해석이나 일부 사례에만 맞는 규칙, 환경 변화로 낡은 정보가 그대로 저장될 수 있다는 것이 연구진의 문제의식이다.

환경 탐색형 방식에서는 정리 에이전트가 후보 기억을 만든 뒤 실제 환경을 조회한다. 확인 결과에 따라 기억을 저장하거나 수정하고, 적용 범위를 좁히거나 삭제한다. 운영 환경을 바꿀 수 있는 쓰기 권한은 부여하지 않는다.

연구진은 기존 작업 에이전트와 검색기, 기억 저장 형식을 바꾸거나 모델을 재훈련하지 않아도 된다고 설명했다. 검증 단계에 최소 권한의 읽기 전용 도구를 추가하는 방식이다.

실험은 GitHub Copilot SDK를 활용한 운영 유사 환경에서 진행됐다. CLBench 데이터베이스 탐색 과제에 환경 탐색형 기억을 적용하자 통과율은 39%에서 73%로 상승했고, 보상 점수는 8.60에서 22.60으로 높아졌다. 질문당 조회 횟수는 8.8회에서 4.7회로 감소했다.

작업 에이전트의 질문당 비용은 3.38달러에서 1.68달러로 낮아졌다. 단순 계산상 약 50.3% 감소한 수치지만, 정리 에이전트의 별도 호출 비용은 작업 에이전트 비용과 분리해 집계됐다. 따라서 전체 기업 운영비가 같은 비율로 줄어든다는 의미는 아니다.

연구진은 6개 환경에서 90개 경영 컨설팅 과제를 추가로 평가했다. 환경 탐색형 기억은 6개 환경 가운데 5곳에서 기존 기억 방식보다 비용 대비 보상 성과가 높았고, 작업 에이전트의 도구 호출 횟수는 과제에 따라 16~75% 줄었다.

Sonnet 4.6과 Opus 4.7을 사용한 비교에서도 환경 탐색형 기억이 기존 기억 방식보다 높은 평균 보상을 기록했다. 다만 실험은 GitHub Copilot 기반의 제한된 환경과 CLBench·APEX 과제를 중심으로 이뤄졌다.

이번 방식의 핵심은 기억의 양을 늘리는 데 있지 않다. 에이전트가 작업 중 얻은 정보를 곧바로 일반화하지 않고, 실제 데이터와 대조한 뒤 장기 기억으로 옮기는 검증 단계를 추가하는 데 있다.

읽기 전용 조회는 데이터베이스나 파일을 변경하지 않으면서 후보 기억의 사실관계와 적용 범위를 확인하는 방식이다. 기업 환경에서 적용하려면 조회 대상과 접근 권한을 분리하고, 검증 과정에서 어떤 정보가 확인됐는지 기록할 필요가 있다.

검증 단계가 추가되면 작업 에이전트의 도구 호출이나 재작업이 줄어들 수 있다. 반면 백그라운드에서 작동하는 정리 에이전트의 호출 비용이 발생하므로, 도입 효과를 판단할 때는 작업 비용과 검증 비용을 함께 계산해야 한다.

마이크로소프트는 앞서 450개 기업형 과제로 AI 에이전트의 기억 성능을 평가하는 STATE-Bench를 공개했다. 이 벤치마크는 고객지원·여행·쇼핑 영역에서 절차 준수, 상태 변경, 작업 비용을 함께 측정한다. STATE-Bench 소개

또 다른 연구 프로젝트인 Memora는 저장 정보와 검색 방식을 분리해 장기 작업에서 필요한 문맥 토큰을 최대 98% 줄이는 기억 구조를 제시했다. 마이크로소프트 리서치 설명 이번 논문은 기억의 표현 방식보다 저장 전 검증 절차에 초점을 맞췄다는 점에서 구별된다.

이번 연구는 AI 에이전트의 경쟁이 모델 성능에서 기업 시스템으로 이동하고 있다는 본지의 앞선 보도와도 맞닿아 있다. 다만 제한된 실험 환경 밖에서 같은 정확도와 비용 효율이 재현되는지는 추가 검증이 필요하다.