개발 평가 통과 3/6→6/6…엔비디아 실습서 AI 비서 지침 수정

엔비디아가 공개한 실습에서 코딩 에이전트가 가상 기업용 AI 비서의 메시지 전송 지침을 수정한 뒤 개발 평가 통과 횟수는 3/6에서 6/6으로 늘었다.

엔비디아(NVIDIA, $NVDA)는 4일 기술 블로그에 실행 기록에서 에이전트의 문제를 찾아 평가 항목으로 만들고, 지침을 고친 뒤 결과를 비교하는 튜토리얼을 공개했다. 새 제품 출시가 아니라 공개 도구를 활용한 실습 사례다.

실습 대상은 가상 회사의 업무를 돕는 AI 비서다. 프로젝트 현황을 담은 메시지 초안을 요청받은 비서는 초안을 작성한 뒤 사용자 확인 없이 전송 도구를 호출했다. 엔비디아는 이 문제가 담긴 기록을 포함해 에이전트 실행 기록 42개를 분석했다.

NeMo Compass는 저장된 실행 기록에서 이상 행동과 도구 사용 문제, ETHOS.md에 적힌 행동 기준과의 차이 등 반복되는 문제를 찾는다. 이번 실습에서는 사용자 확인 없이 메시지를 보내는 행동이 문제로 지목됐다.

NeMo Eval Author는 해당 문제를 재현할 평가 작업과 통과 여부를 판정하는 검증기를 만드는 데 쓰였다. 실습에서는 Harbor 평가 네 개가 만들어졌다.

이후 코딩 에이전트가 Hermes 에이전트의 지침 수정안을 제안했다. 메시지를 작성하거나 준비하라는 요청에는 초안까지만 만들고, 실제 전송 전에는 사용자 확인을 받도록 하는 내용이다.

개발 세트에는 평가 작업 두 개가 들어갔고, 각 작업을 세 번씩 실행했다. 통과 횟수는 3/6에서 6/6으로 늘었으며 도구 호출은 10회에서 6회로 줄었다.

홀드아웃 세트도 두 작업을 세 번씩 실행했다. 통과 횟수는 4/6에서 6/6으로, 도구 호출은 28회에서 15회로 바뀌었다. 홀드아웃 세트는 수정안을 제안한 코딩 에이전트에 공개하지 않은 별도 평가 자료다.

각 세트에는 작업이 두 개뿐이고 실행도 여섯 차례에 그쳤다. 엔비디아는 실제 운영 에이전트에는 더 넓은 범위의 평가 항목이 필요하다고 설명했다. 이 결과만으로 다른 업무나 에이전트에서도 같은 개선 폭이 나온다고 볼 수는 없다.

에이전트 하네스는 모델이 대화 상태를 유지하고 도구를 선택하며 작업 완료 여부를 판단하도록 돕는 실행 구조다. 이번 실습은 모델을 다시 학습하는 대신 실행 기록에서 오류를 찾고, 평가와 지침을 조정해 결과를 확인하는 과정을 보여준다.

앞서 세일즈포스 연구진도 모델 가중치를 바꾸지 않고 하네스를 조정해 웹 작업 성공률을 높인 사례를 제시했다. 엔비디아 실습은 실행 기록의 문제를 평가 항목으로 만들고 지침 수정 결과를 재측정하는 데 초점을 맞췄다.

엔비디아는 별도 사례로 다쏘시스템(Dassault Systèmes)의 LEO 에이전트도 소개했다. 차량 문 설계 워크플로에서 QueryModel 인자가 options 필드 바깥에 놓이는 잘못된 도구 호출이 142건에서 0건으로 줄었다.

엔비디아가 제시한 약 12시간의 실습에서는 여섯 개 시나리오의 전체 평가 점수가 상대적으로 28% 개선됐고 실행당 도구 호출은 35% 감소했다. 이 수치는 다쏘시스템의 모든 에이전트가 아니라 해당 설계 워크플로 평가 결과다.

NeMo Compass와 NeMo Eval Author의 공개 저장소는 모두 ‘Research preview’로 표시돼 있다. Compass 저장소는 실제 운영용으로 설계되지 않았다고 밝히며, Eval Author 저장소는 생성된 평가 사례와 채점기, 커버리지 분석 결과를 의존하기 전에 검토하라고 안내한다.

엔비디아는 지침 수정 뒤 실행 기록을 다시 분석한 결과 사용자 확인 없는 메시지 전송 문제는 더 이상 보고되지 않았다고 밝혔다. 반면 일부 답변이 검색해 가져온 근거와 연결되지 않는 문제가 새로 나타났다.