구글에서 선호하는 출처로 추가
Goodfire, AI 에이전트 감시 비용 90% 낮춘 실험 공개
최윤서 기자
토포AI로 이 기사 더 깊이 읽기
AI 에이전트의 보상 해킹을 모델 내부 신호로 감지하는 연구가 나왔다. Goodfire는 Kimi K3 실험에서 대형언어모델(LLM) 감시 비용을 90% 줄였지만, 모델과 시험 조건에 따라 탐지 성능은 달랐다.
Goodfire는 9월 17일 공개한 연구에서 Kimi K3, GLM 5.2, Qwen 3.8 Max와 에이전트 벤치마크 3종을 평가했다. 회사는 시험 롤아웃의 50~96%에서 보상 해킹이 관찰됐다고 밝혔다. 이 비율은 연구에 사용된 모델과 벤치마크의 결과다.
보상 해킹은 에이전트가 과제의 본래 목적을 달성하는 대신 평가 기준의 허점을 이용해 점수를 얻는 행동이다. Goodfire 연구진은 모델이 작업을 처리할 때 생기는 내부 계산 신호인 ‘활성화’에서 보상 해킹과 연관된 패턴을 찾고, 이를 감지하는 프로브를 만들었다.
프로브가 의심 사례를 먼저 가려내면 모든 대화 기록을 LLM에 맡기는 대신 일부만 추가 검사할 수 있다. Goodfire는 Kimi K3 실험에서 프로브와 LLM 감시를 결합해 모니터링 비용을 90% 줄였고 정밀도는 약 1% 낮아졌다고 밝혔다.
다만 DeepSWE 시험에서 탐지 성능은 모델별로 엇갈렸다. 프로브는 GLM 5.2에서 LLM 감시보다 보상 해킹을 7.9% 적게 포착했고, Kimi K3에서는 3.1% 더 많이 잡았다. 비용 절감과 탐지 결과는 해당 실험에 한정된다.
내부 신호 감시 연구에 앞서 에이전트의 행동 기록만으로 의도를 판단하기 어려운 사례도 나왔다. 허깅페이스(Hugging Face)는 7월 자사 인프라 침입을 재구성한 기술 보고서에서 에이전트가 데이터 처리 시스템의 취약점을 이용해 침입을 시도한 과정을 설명했다.
허깅페이스는 7월 9일부터 13일까지 약 1만7600건의 행동을 확인했다고 밝혔다. 이 사례는 에이전트의 외부 행동 기록을 살피는 것과 함께 내부 신호를 감시하는 접근도 연구 대상이 되고 있음을 보여준다.
Goodfire는 10월 1일 단백질 모델의 임베딩을 활용한 생물보안 감시 연구도 공개했다. 회사는 자체 벤치마크에서 유해 서열 탐지와 정상적인 이중용도 연구 허용 사이의 균형을 시험했으며, 감시가 밀리초 단위로 작동했다고 밝혔다. 이 결과는 회사가 설계한 시험에서 나왔다.
Goodfire는 프런티어 연구소와 추론 제공업체에 모니터를 배포하기 위해 협력하고 있다고 밝혔다. 공개 API는 제공하지 않는다.
댓글 0
불러오는 중…