AI 하네스 설계만으로 성능 두 자릿수 차이

엔비디아(NVIDIA·$NVDA)가 AI 모델을 감싸는 실행 구조인 ‘하네스’ 설계만으로 같은 모델의 벤치마크 성능과 토큰 비용이 달라질 수 있다는 연구 결과를 공개했다.

엔비디아는 7월 27일 공식 기술 블로그에서 엔비디아 랩스 객체지향 에이전트(NOOA)를 연구 프리뷰로 공개했다. 하네스는 모델이 어떤 맥락을 보고, 어떤 도구를 호출하며, 어떤 상태를 보존하고, 언제 작업을 멈출지 정하는 실행 구조다.

NOOA는 에이전트를 하나의 파이썬 클래스로 다루는 방식이다. 메서드는 기능, 필드는 상태, 독스트링은 프롬프트, 타입 주석은 계약 역할을 한다. 본문이 말줄임표로 끝나는 메서드는 런타임에서 대형언어모델이 채우고, 일반 메서드는 결정적 파이썬 코드로 실행된다.

공식 벤치마크에서 NOOA는 GPT-5.5 기준 SWE-bench Verified 82.2%, CyberGym L1 86.8%를 기록했다. ARC-AGI-3에서는 GPT-5.6-sol 조합으로 85.1%를 냈다.

SWE-bench Verified에서는 29회 호출과 약 110만 토큰으로 82.2%를 달성했다. 비교 하네스는 66회 호출과 220만 토큰으로 78.2%, 29회 호출과 130만 토큰으로 78.6%를 냈다.

ARC-AGI-3에서는 GPT-5.6-sol 조합의 게임당 비용이 20달러 미만(약 2만7900원 미만)으로 제시됐다. CyberGym L1 수치는 네트워크 접근을 막은 상태에서 나온 값이라고 엔비디아는 밝혔다.

이번 연구의 핵심은 모델 크기 경쟁만이 성능의 전부가 아니라는 점이다. 엔비디아는 하네스가 문맥 렌더링, 행동 실행, 상태 관리, 종료 판단을 맡기 때문에 같은 모델에서도 결과가 두 자릿수로 흔들릴 수 있다고 설명했다.

이는 AI 인프라 비용을 보는 관점에도 영향을 준다. 더 큰 모델을 더 많이 호출하는 방식보다, 모델 주변 구조를 정교하게 설계하는 접근이 비용과 성능을 함께 바꿀 수 있다는 뜻이다.

기존 에이전트 개발에서는 프롬프트, 툴, 콜백, 워크플로를 별도 구성요소로 나누는 방식이 흔했다. NOOA는 이를 파이썬 객체 하나에 모아 상태와 인터페이스를 함께 다루게 하는 구조를 앞세운다.

이 흐름은 엔비디아가 기업용 에이전트 업무에 맞춘 공개 가중치 AI 모델을 공개한 흐름과도 맞닿아 있다. 당시 초점이 모델과 배포 체계였다면, 이번 NOOA는 모델 바깥의 실행 구조와 검증 가능성을 전면에 세웠다.

보안 맥락도 붙었다. 엔비디아는 오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance) 소개 글에서 NOOA가 에이전트 행동을 테스트, 추적, 감사, 거버넌스하기 쉽게 만드는 공개 프로젝트라고 밝혔다.

에이전트가 코드 실행과 도구 호출을 수행하는 환경에서는 성능뿐 아니라 권한 통제와 추적 가능성이 함께 문제가 된다. 본지는 앞서 엔비디아가 AI 보안을 에이전트 스택 전체의 문제로 규정한 흐름을 보도한 바 있다.

개발자 반응은 아직 초기 단계다. 자료 수집 시점 기준 엔비디아 개발자 포럼의 관련 공지 글은 조회수 227건, 답글 0건으로 확인됐고, 깃허브 저장소에는 245개 포크, 28개 이슈, 38개 풀리퀘스트, 222개 커밋이 잡혔다.

다만 이번 수치는 엔비디아가 공개한 연구 환경에서 나온 값이다. NOOA는 기존 하네스를 대체하는 제품이 아니라 연구 프리뷰로 제시됐다.

실제 기업 업무 환경에서 같은 수준의 성능 개선과 비용 절감이 재현될지는 별도 검증이 필요하다. 모델이 생성한 파이썬 코드가 인프로세스로 실행되는 구조인 만큼, 운영 환경에서는 격리와 권한 통제도 함께 설계해야 한다.