엔비디아 하네스 실험, 클로드 점수 30%서 100%

엔비디아($NVDA)의 AI 에이전트 실험에서 모델 자체보다 메모리, 도구 호출, 감독 루프를 묶은 하네스 설계가 성능을 크게 좌우할 수 있다는 결과가 제시됐다. 같은 모델도 실행 구조에 따라 ARC-AGI-3 점수가 30%에서 100%로 달라졌다는 보도다.

테크크런치는 22일(한국시간) 엔비디아 연구진이 커스텀 하네스와 감독자(supervisor) 구성요소를 활용해 클로드 오퍼스 5(Claude Opus 5)를 ARC-AGI-3에서 100%까지 끌어올렸다고 보도했다. 같은 모델을 하네스 없이 실행했을 때 점수는 30%였다고 전했다.

하네스는 AI 모델을 실제 에이전트처럼 움직이게 하는 실행층이다. 모델이 무엇을 기억할지, 어떤 도구를 호출할지, 실패했을 때 어떤 피드백을 받을지, 작업을 언제 멈출지 등을 정한다. 단순한 프롬프트 문구가 아니라 메모리, 런타임, 도구, 감독 루프를 포함하는 구조다.

아델 엘 할락(Adel El Hallack) 엔비디아 AI 부문 제품 담당 부사장은 테크크런치에 "사람들은 에이전트를 거의 모델의 API처럼 해석한다"고 말했다. 그는 에이전트가 모델뿐 아니라 모델을 둘러싼 스캐폴딩, 도구, 런타임, 기술 라이브러리까지 포함한다고 설명했다.

이번 논의가 주목받는 이유는 ARC-AGI-3의 성격 때문이다. ARC 프라이즈(ARC Prize)는 ARC-AGI-3를 지시문 없이 낯선 환경에서 탐색, 적응, 행동을 수행해야 하는 첫 상호작용형 추론 벤치마크로 설명한다. 인간 기준 점수는 100%이며, 3월 출시 당시 프론티어 AI 점수는 0.51%로 제시됐다.

정적인 질의응답 벤치마크와 달리 ARC-AGI-3는 2D 게임형 환경에서 규칙과 목표를 스스로 찾아야 한다. 같은 모델이라도 과거 행동을 얼마나 잘 보존하고, 실패한 경로를 어떻게 피하며, 다음 행동을 누가 점검하느냐에 따라 결과가 달라질 수 있다.

오픈AI(OpenAI)도 같은 문제를 공개적으로 다뤘다. 오픈AI는 7월 30일(한국시간) 공개 글에서 GPT-5.6 솔(GPT-5.6 Sol)이 ARC-AGI-3 공식 하네스에서 13.3%를 기록했지만, 추론 보존과 압축 설정을 켠 뒤 38.3%로 올랐다고 밝혔다. 두 설정이 점수를 약 세 배 높이고 출력 토큰을 6분의 1로 줄였다는 설명이다.

엔비디아의 공식 기술 블로그도 하네스 설계가 성능 평가에 미치는 영향을 다뤘다. 엔비디아는 7월 28일(한국시간) 글에서 하네스 설계만으로 같은 모델의 벤치마크 결과가 두 자릿수 폭으로 달라질 수 있다고 밝혔다. 이 글에서 공개한 ARC-AGI-3 성과는 NOOA가 GPT-5.6 솔로 85.1%를 기록했다는 내용이다.

테크크런치가 전한 100% 수치는 엔비디아 공식 기술 블로그에 공개된 85.1% 성과와는 구분된다. 100%와 30% 비교는 테크크런치 보도에 기반한 내용이며, 공식 블로그의 공개 수치와 같은 실험 조건으로 단순 비교하기는 어렵다.

엔비디아는 7월 9일(한국시간) 별도 글에서도 네모트론 3 울트라(Nemotron 3 Ultra)를 재학습하지 않고 시스템 프롬프트, 도구 설명, 미들웨어를 조정해 랭체인 딥 에이전트(LangChain Deep Agents) 하네스 성능을 높였다고 밝혔다. 하네스 엔지니어링이 모델 훈련과 별개의 성능 개선 축으로 쓰이고 있다는 설명이다.

업계에서는 에이전트를 모델 하나가 아니라 모델, 메모리, 도구, 오케스트레이션, 감독 루프가 결합된 시스템으로 보는 흐름이 강해지고 있다. 프롬프트를 잘 쓰는 단계를 넘어 작업 기록을 어떻게 압축하고, 실패 경로를 어떻게 배제하며, 외부 도구 호출을 어떤 순서로 관리하느냐가 성능 차이를 만든다는 인식이다.

국내 AI·크립토 독자에게도 이 논점은 작지 않다. 에이전트가 온체인 분석, 지갑 추적, 자동화 거래 보조, 보안 점검 같은 작업에 쓰일수록 모델명보다 실행 구조의 검증 가능성이 중요해진다. 본지는 앞서 기업용 AI 에이전트 실험에서도 비용 절감의 초점이 모델 가격보다 오케스트레이션 구조에 맞춰졌다고 보도했다.

다만 ARC-AGI-3 성과가 다른 업무에서도 그대로 재현된다고 보기는 어렵다. 벤치마크는 특정 환경과 규칙을 가진 시험이며, 하네스의 이점은 과제 구조에 따라 달라질 수 있다.

이번 실험이 보여준 핵심은 더 큰 모델 하나가 모든 성능 차이를 설명하지 않는다는 점이다. 모델을 기억시키고 점검하고 실행시키는 구조가 AI 에이전트 평가의 중심 변수로 올라왔다.