스케일AI, AI 자기개선 벤치마크 공개

스케일AI(Scale AI)가 대형언어모델이 에이전트의 실행 구조를 직접 고쳐 성능을 높일 수 있는지 평가하는 하네스옵트벤치(HARNESSOPT-BENCH)를 공개했다. 모델이 답을 내는 능력뿐 아니라 프롬프트, 도구, 제어 흐름, 메모리, 오케스트레이션 코드까지 다루는 능력을 시험대에 올린 것이다.

스케일AI는 8월 6일 공개한 논문에서 하네스를 모델 바깥에서 작동하는 프롬프트, 도구, 메모리, 제어 흐름, 오케스트레이션 코드로 정의했다. 같은 모델이라도 어떤 하네스를 쓰느냐에 따라 작업 성능이 달라질 수 있다는 문제의식에서 출발했다.

이번 벤치마크는 최적화 모델이 목표 에이전트의 초기 하네스와 평가 피드백, 고정된 평가 예산을 받은 뒤 코드를 수정하고 최종 후보를 제출하는 구조다. 최종 점수는 검색 과정에서 접근할 수 없는 비공개 테스트 구간에서 초기 하네스 대비 얼마나 개선됐는지로 산정한다. 평가 경계와 예산은 신뢰 실행 환경에서 관리된다.

스케일AI는 실험에서 클로드 오퍼스 5, 클로드 소넷 5, GPT-5.6 솔, GPT-5.6 테라, 키미 K3 등 5개 프런티어 대형언어모델을 최적화 모델로 평가했다. 과제는 오피스QA, 브라우즈컴프 플러스, 터미널벤치, GAIA 등 4개였고, 전체 채점 실행은 111차례였다.

결과는 모델 자체의 차이가 하네스 차이보다 크게 나타났다. 스케일AI는 작업과 하네스를 고정했을 때 최적화 모델을 바꾸면 평균 이득이 0.142 움직였고, 작업과 모델을 고정한 상태에서 하네스를 바꾸면 0.079 움직였다고 밝혔다. 다만 네이티브 하네스가 항상 더 나은 결과를 내지는 않았다.

세부 과제별 성과도 엇갈렸다. 오피스QA에서는 클로드 오퍼스 5와 오픈코드 조합이 0.63의 정규화 이득을 기록했다. GAIA에서는 GPT-5.6 솔과 코덱스 조합이 0.49로 제시됐다. 스케일AI는 과제별 평가 잡음 범위보다 작은 차이는 확정적 차이로 보지 않았다.

블록비츠(BlockBeats)는 이 벤치마크를 두고 AI가 연구자처럼 실험을 설계하고 학습을 돌리며 방법을 고치는지를 보는 시험이라고 전했다. 일부 모델이 실험 실행, 파라미터 조정, 반복 개선을 수행해 일부 과제에서 기준선을 넘겼지만, 최신 연구를 상대로 한 시도는 기존 논문 방법과 튜닝에 머무는 경우가 많았다고 전했다.

이번 결과는 AI 에이전트 평가의 초점이 모델 단독 성능에서 실행 구조까지 넓어지고 있음을 보여준다. AI 에이전트는 코딩, 리서치, 터미널 작업처럼 도구를 오래 다루는 영역으로 확장되고 있다. 본지도 앞서 텐센트의 워크버디 벤치가 실제 업무 기반 과제로 코딩 에이전트를 비교했다고 보도한 바 있다.

스케일AI의 논문은 하네스 최적화를 재현 가능한 평가 대상으로 만들었다는 데 의미를 뒀다. 다만 이번 결과만으로 AI가 독립적으로 새로운 연구 아이디어를 발명한다고 보기는 어렵다.

검증 출처: Scale Labs 하네스옵트벤치 논문(https://labs.scale.com/papers/harnessopt-bench), 논문 PDF(https://static.remotasks.com/uploads/6a74bd9cebda5487911dfbc2/HarnessOpt-Bench.pdf), BlockBeats 원문(https://www.theblockbeats.info/flash/362187)