구글에서 선호하는 출처로 추가
구글·카네기멜런대, AI 하네스 통합 점수 76.7% 기록
김미래 기자
구글과 카네기멜런대학교 연구진이 AI 에이전트의 기능과 보안을 함께 평가하는 하네스 진화 방식을 제안했다. SecRepoBench 탐색 분할에서 두 목표를 모두 충족한 비율은 76.7%였다.
토포AI로 이 기사 더 깊이 읽기
구글과 카네기멜런대학교 연구진이 AI 에이전트의 기능과 보안을 함께 고려하는 하네스 진화 방식을 제안했다. SecRepoBench 탐색 분할에서 기능과 보안을 모두 충족한 비율은 76.7%였고, BaxBench 세 분할 평균 통합 점수는 61.3%였다.
연구진은 10월 10일 논문 저장소 arXiv에 ‘Harmony Harness: 에이전트 하네스의 다목적 자기 진화’를 공개했다. 논문은 구글 클라우드 AI 리서치, 구글 딥마인드, 카네기멜런대학교 연구진이 작성했다.
하네스는 AI 모델이 도구를 호출하고 작업 상태를 추적하며 과정을 이어가도록 돕는 실행 환경이다. 시스템 프롬프트와 도구, 검증 절차, 작업 흐름 등이 여기에 포함된다.
기존 하네스 진화 방식은 대체로 단일 점수에 맞춰 시스템 전체를 한꺼번에 수정한다. 연구진은 기능을 높이는 변화가 보안 검증을 느슨하게 만들거나, 보안 강화가 필요한 작업까지 막을 수 있다고 설명했다.
Harmony Harness는 기능과 보안을 각각 평가하고 여러 목표 사이의 균형을 고려해 후보 하네스를 탐색한다. 범용 구성 요소와 특정 벤치마크에 맞춘 요소를 나눠 발전시킨 뒤 작업에 맞게 조합한다. 하네스 전체를 바꾸는 대신 도구·기술·작업 논리 등 필요한 부분을 골라 수정하는 방식이다.
연구진은 보안 코드 생성 벤치마크인 SecRepoBench와 BaxBench에서 기존 하네스 진화 기준선과 결과를 비교했다. SecRepoBench 탐색 분할에서 기능과 보안을 동시에 충족한 비율은 76.7%였다. 이 수치는 보안만 따로 측정한 점수가 아니다.
학습에 사용하지 않은 분할에서도 연구진은 비교 기준보다 높은 통합 점수를 기록했다고 밝혔다. BaxBench에서는 세 분할의 평균 통합 점수가 61.3%로 기준선 42.9%를 웃돌았다. 각 결과는 세 차례 실행의 평균이다.
이번 연구는 하네스 설계가 에이전트의 작업 수행에 미치는 영향을 다룬다는 점에서, AI 에이전트의 실행 구조에 따라 벤치마크 결과가 달라질 수 있다는 기존 연구와 주제가 이어진다. 다만 두 연구는 평가 환경과 실험 조건이 달라 점수를 직접 비교할 수는 없다.
평가 대상은 보안 코드 작업이다. 논문은 벤치마크 점수가 실제 서비스의 보안이나 성능을 보장하지 않으며, 보안과 기능의 충돌이 뚜렷한 다른 작업 유형에서 추가 검증이 필요하다고 밝혔다.
논문은 상용 제품 출시나 실제 서비스 적용 계획을 제시하지 않았다. 연구 결과는 SecRepoBench와 BaxBench 실험에 한정된다.
댓글 0
불러오는 중…