AI 고난도 과제 20%→53%…스탠퍼드·딥마인드, 터틀 개발

스탠퍼드대학교(Stanford University)와 구글 딥마인드(Google DeepMind) 연구진이 개발한 TURTLE이 앱 조작 평가 AppWorld에서 고난도 과제 비중을 기존 약 20%에서 53%로 높였다. 논문이 제시한 165% 증가는 고난도 과제 비중의 상대적 변화로, AI 모델의 정답률이 그만큼 오른 것은 아니다.

연구진은 10월 21일 개정한 사전논문 ‘Evolving Self-tuning Benchmarks for Long-Horizon Tool Use’(arXiv:2610.27307)에서 결과를 공개했다. TURTLE은 여러 앱을 오가며 여러 단계의 작업을 수행하는 AI의 도구 사용 능력을 평가하도록 기존 과제를 변형하는 시스템이다.

고정된 평가 과제는 모델이 익숙해지면 새로운 실패 유형을 찾기 어려워질 수 있다. 새 과제를 처음부터 설계하고 제대로 작동하는지 검증하는 데도 작업이 든다. TURTLE은 기존 과제의 구성 요소와 실행 환경을 활용해 새 문제를 만드는 방식으로 이 부담을 줄이려 했다.

시스템은 과제 제안자, 풀이 모델, 피드백 생성자라는 세 역할로 구성된다. 제안자는 AlphaEvolve를 이용해 과제를 수정하고, 풀이 모델은 바뀐 문제를 수행한다. 피드백 생성자는 실행 기록을 살펴 실패 원인을 정리해 다음 수정에 반영한다.

제안자는 기존 과제의 지시문과 도구 사용 흐름을 바꿔 새 과제를 만든다. 조건이나 필터를 추가하고, 중간 단계를 넣거나 여러 앱을 함께 쓰도록 구성할 수 있다. 과제를 새로 설계하는 대신 기존 평가 환경에서 작동하는 구성 요소를 재조합한다.

새 과제의 정답 절차는 풀이 모델에 주기 전에 모의 환경에서 실행해 시스템 오류가 없는지 확인한다. 풀이 모델은 과제마다 10회 시도하며, 적어도 한 번 완전히 해결한 과제만 실행 가능한 문제로 취급한다. 이 과정은 풀 수 없는 과제가 평가에 섞이는 일을 막기 위한 것이다.

과제 점수는 풀이 모델의 평균 완료율이 50%에 가까울수록 높아지도록 설계됐다. 모델이 거의 항상 성공하는 문제와 거의 풀지 못하는 문제를 걸러내고, 성공과 실패가 갈리는 과제를 찾는 데 초점을 뒀다. AutomationBench에서는 어려운 문제의 평가 점수가 지나치게 희소해지지 않도록 부분 점수도 허용했다.

대표 실험은 앱 조작 평가 환경 AppWorld에서 진행됐다. 연구진은 기존 과제 106개에서 새 과제 735개를 만들었다. 기존 과제의 69%는 풀이 모델이 매번 완전히 해결했고 12%는 한 번도 풀지 못했지만, 새 과제는 거의 모두 성공률 40~60% 구간에 놓였다.

과제 난도는 풀이 성공률과 별도로 평가했다. Gemini 3.6 Flash 평가자가 과제에 필요한 상호작용과 추론 정도를 기준으로 난도를 판정했으며, 이는 기존 인간 평가에서 사용한 쉬움·보통·어려움의 3단계를 따른다. 기존 과제의 80%는 쉬움 또는 보통으로 분류됐고, 새 과제의 53%는 어려움, 44%는 보통으로 평가됐다.

과제 변형은 여러 단계의 추론과 조건 확인을 요구하는 방향으로 이뤄졌다. 논문에 나온 사례에서는 사용자의 생월을 확인하고 같은 달에 태어나 시애틀에 사는 동료를 찾은 뒤, 대상별로 다른 메시지를 넣어 송금하고 이메일도 보내도록 기존 지시를 확장했다. 단순한 앱 실행을 넘어 여러 조건을 연결해 처리해야 하는 과제다.

연구진은 AppWorld에서 논리적 필터링과 추론 등 과제 특성의 빈도가 기존보다 29~212% 늘었다고 집계했다. TURTLE은 풀이 모델의 점수만 조정하는 데 그치지 않고, 새 조건과 중간 도구 사용 등 문제의 구성도 바꿨다.

업무용 앱을 다루는 AutomationBench에서도 과제 구성이 넓어졌다. 기존 과제 16개는 모두 앱 4개를 사용했지만, 새 과제 23개 가운데 52%는 앱 5개, 13%는 앱 6개를 요구했다. 필요한 앱 조합도 기존 15종에서 30종으로 늘었다.

통신·은행 고객 응대 평가인 τ-telecom과 τ-banking에도 적용했다. 통신 평가에서는 기존 과제 84개에서 299개를 만들었다. 은행 평가에서는 문서 검색 방식에 따라 기존 과제 17개에서 82개, 24개에서 178개를 각각 생성했다.

과제의 특성과 풀이 오류 유형을 조합한 범위도 AppWorld에서 기존 49종에서 새 과제 54종으로 늘었다. 연구진은 기존 문제가 너무 쉬우면 풀이 모델의 취약점을 드러내기 어렵지만, 수정된 과제는 더 넓은 실패 유형을 살필 수 있다고 설명했다.

다만 주요 결과는 Gemma 4 31B-it을 풀이 모델로 사용한 실험에 기반한다. Gemini 3.6 Flash와 Gemini 3.1 Flash Lite를 이용한 추가 실험은 AppWorld의 일부 초기 과제만 대상으로 했다. 연구진은 상용 모델을 호출하는 추론 비용과 더 큰 평가 집합을 만들려면 초기 과제 수를 늘려야 하는 점을 한계로 들었다.