AI 과제 통과율 22.1%p 높아져…마이크로소프트 내부 평가

마이크로소프트($MSFT)가 같은 AI 모델에 새 실행 체계를 적용해 평가한 결과, 복잡한 과제 통과율이 기존보다 22.1%포인트 높았다. 모델 자체가 같아도 에이전트가 도구와 작업 단계를 관리하는 방식에 따라 평가 결과가 달라졌다.

마이크로소프트는 11월 7일 공개한 기술 백서에서 코파일럿 스튜디오(Copilot Studio)의 표준 실행 체계와 새 코파일럿 하네스를 같은 평가 과제에 적용했다고 밝혔다. 클로드 오푸스 4.8(Claude Opus 4.8)을 쓴 실험에서 새 체계는 22.1%포인트, GPT-5.5 챗(GPT-5.5 Chat) 비교에서는 10.8%포인트 높은 통과율을 기록했다. 두 수치는 회사 내부 평가 결과다.

하네스(harness)는 모델이 도구를 사용하고, 작업 단계를 이어가며, 실패 뒤 다음 행동을 정하도록 돕는 실행 체계다. 모델이 답을 생성하는 방식뿐 아니라 작업 환경과 진행 상태를 관리한다.

기존 표준 체계는 이용자와 빠르게 대화하고 단계마다 응답을 돌려주는 방식에 맞춰져 있다. 새 체계는 보안 컨테이너에서 명령줄과 파일 도구를 쓰며, 모델이 여러 단계의 업무를 계속 수행하도록 설계됐다.

마이크로소프트는 새 체계에서 과제당 모델 호출 횟수가 약 두 배였다고 밝혔다. 캐시 사용 비용을 반영해 계산한 입력 토큰 소비량은 기존 체계보다 15~21% 적었다. 실제 입력 토큰 수가 그만큼 줄었다는 뜻은 아니다.

실제 운영 자료에서는 도구 호출이 실패한 뒤 작업을 계속한 비율이 새 체계에서 84~91%, 기존 체계에서 7% 미만이었다. 이 수치는 실패 뒤 작업을 이어간 비율이며, 최종 과제 통과율과는 다른 지표다.

9월 8일 공개된 별도 코딩 연구는 같은 클로드 오푸스 4.8로 80개 과제를 평가했다. 두 실행 체계의 평균 통과율은 48.8%와 50.0%였고, 차이는 1.25%포인트였다. 연구진은 신뢰구간이 -10~7.5%포인트에 걸쳐 어느 한쪽의 평균 우위를 확인하지 못했다고 밝혔다.

이 연구는 코딩 과제를, 마이크로소프트 평가는 기업 업무를 대상으로 했다. 평가 과제와 환경이 달라 두 결과의 점수를 직접 비교할 수 없으며, 마이크로소프트의 결과만으로 다른 과제에서도 새 체계가 우수하다고 단정하기는 어렵다.

본지는 앞서 마이크로소프트 연구진이 에이전트 장기 기억을 저장하기 전 검증해 데이터베이스 탐색 과제 통과율을 39%에서 73%로 높인 연구를 소개했다. 이 연구는 장기 기억 저장 방식을 다뤄 이번 하네스 평가와는 대상이 다르다.

마이크로소프트는 10월 28일 파운드리 에이전트 서비스(Foundry Agent Service)에서 코파일럿 하네스 공개 시험을 시작했다. 개발자가 관리형 실행 체계를 이용해 장시간 작업을 수행하는 에이전트를 만들 수 있도록 한 서비스다.

개발자는 지원 모델을 선택하고 도구와 작업 절차를 연결할 수 있다. 마이크로소프트가 에이전트 실행 과정과 샌드박스를 관리하며, 작업에 따라 하위 에이전트에 일부 단계를 맡기는 기능도 제공한다.

키미(Kimi)는 11월 5일 기업과 개발자를 위한 Kimi Hosted Agents를 출시했다. 클라우드에서 장시간 에이전트를 실행하는 환경으로, 기업은 도구 접근 범위를 설정하고 실행을 중단하거나 기록을 감사할 수 있다. 회사는 금융 업무용 에이전트 틀 8개를 제시했으며 투자 조사와 펀드 대조 작업 등을 포함했다.

앤스로픽(Anthropic)은 관리형 에이전트 기술 설명에서 실행 기록, 하네스, 코드 실행용 격리 환경을 분리해 운영한다고 밝혔다. 각 요소를 독립적으로 바꿀 수 있도록 구성했다.

마이크로소프트는 파운드리의 코파일럿 하네스에 12월 1일부터 사용량 기반 요금을 적용할 예정이다. 샌드박스 컴퓨팅은 vCPU 시간당 0.0994달러(약 134원), 메모리 1GiB 시간당 0.0118달러(약 16원)이며, 지역과 계약에 따라 달라질 수 있다고 밝혔다.