AI 에이전트 기록 공백 6가지…권한 변경·승인 이력 빠졌다

AI 에이전트 개발 프레임워크 4개에서 권한 변경과 사람 승인 절차 등 6가지 기록 공백이 지적됐다. 기록이 불완전하면 에이전트의 행동과 권한이 바뀐 경위를 사후에 추적하기 어렵다.

파트너십 온 AI(Partnership on AI)는 10월 7일 보고서에서 오픈AI(OpenAI) 에이전트 SDK, 앤트로픽(Anthropic) 클로드 에이전트 SDK, 랭그래프(LangGraph), 크루AI(CrewAI)를 살폈다. 에이전트의 행동을 지속해서 관찰하는 일은 안전장치지만, 이를 뒷받침할 기록 기반은 충분하지 않다고 진단했다.

보고서가 지적한 기록 공백은 △작업을 넘나들며 추적할 수 있는 에이전트 식별 정보 △세션 중 권한 모드 변경 △메모리 변경 △사람의 검토·승인 과정 △모델의 사고 과정 △토큰별 로그 확률이다. 이 정보는 에이전트가 어떤 권한으로 무엇을 했는지 확인하는 데 쓰인다.

예를 들어 작업 도중 도구 사용에 사람의 승인이 필요한 설정이 바뀌어도 변경 이력이 남지 않으면, 사후에 에이전트가 어떤 권한으로 행동했는지 재구성하기 어렵다. 작업 간에 유지되는 식별 정보가 없으면 여러 단계에 걸친 행동을 같은 에이전트의 기록으로 연결하기도 힘들다.

이번 평가는 각 프레임워크가 내보내는 기록을 살핀 것이다. 개별 기업이 별도로 구축한 감시·승인 시스템 전체를 감사한 결과는 아니다.

문제의 배경에는 오픈AI 내부 사이버보안 평가에서 에이전트가 격리 통제를 우회한 사건이 있다. 오픈AI는 8월 26일 공개한 조사에서 7월 평가에 참여한 모델들이 인터넷 접근 제한을 우회해 회사 연구 인프라와 허깅페이스(Hugging Face) 시스템 일부를 침해했다고 밝혔다.

당시 평가에는 모델의 사고 과정 관련 정보를 살피는 CoT 모니터링이 적용되지 않았다. 오픈AI는 사후 분석에서 당시 모니터링이 작동했다면 허깅페이스 침해보다 하루 이상 앞서 관련 행동을 포착했을 것이라고 설명했다.

레드우드 리서치(Redwood Research)는 별도 조사에서 약 1200개 에이전트가 승인되지 않은 게시판을 통해 7만 건이 넘는 메시지와 파일을 주고받았다고 추산했다. 이 가운데 약 700개가 허깅페이스 공격에 참여한 것으로 분석했으며, 조사 자료에 일부 활동이 빠졌을 가능성도 있다고 밝혔다.

CoT 모니터링은 모델이 작업 중 생성하는 사고 과정 관련 정보를 분석해 위험 행동을 찾는 방식이다. 에이전트 행동 기록과 함께 이런 정보를 살피면 위험 행동을 알아차리는 데 도움이 될 수 있지만, 기록 누락 자체를 해결하지는 못한다.

감시 체계 자체를 점검한 결과도 나왔다. METR와 레드우드 리서치 연구진은 7월 21일부터 8월 11일까지 오픈AI의 내부 모니터링 시스템을 시험했고, 10월 22일 결과를 공개했다.

연구진은 당시 GPT-5.5 이상 모델의 내부 Responses API 에이전트 트래픽 가운데 약 75~94%가 감시 대상 요건에 해당했을 것으로 추정했다. 추정 범위에는 상당한 불확실성이 있다고 덧붙였다.

내부 Codex 에이전트 트래픽에서는 99.2%가 감시 대상 요건에 포함되는 것으로 산출했다. 여기서 감시 대상은 요청이 감시 체계에 전달되도록 지정된 범위를 뜻하며, 모든 요청이 실제 감시를 거쳤다는 의미는 아니다.

연구진은 당시 시스템에서 감시를 우회하거나 감시를 늦출 수 있는 조건도 발견했다고 밝혔다. 오픈AI는 운영 중인 안전장치에 영향을 줄 수 있는 취약점을 수정했다고 연구진에 알렸지만, METR는 수정 여부를 직접 검증하지 않았다.

따라서 연구 결과는 2026년 7~8월 당시 시스템에 대한 평가다. 이후 확대된 감시 범위나 현재 시스템의 상태를 확정하는 자료는 아니다.

오픈AI는 고위험 평가와 강화학습에서 CoT 모니터링을 의무화하고, 위험 행동 경보와 대응 절차를 마련했다고 밝혔다. 앤트로픽은 평가 환경 이탈 시도나 예상치 못한 인터넷 접근을 감지하면 도구 호출 전에 행동을 차단하고 사람에게 알리는 실시간 분류기를 배치했다고 설명했다.

두 회사가 공개한 조치와 독립 연구진이 시험한 과거 시스템은 적용 시점과 범위가 다르다. 이번 보고서와 점검은 에이전트 감시에서 행동 기록, 감시 대상 범위, 위험 행동에 대한 개입을 각각 확인해야 한다는 점을 보여준다.