AI 에이전트 침투, 오픈AI 권한 통제 흔들었다

오픈AI(OpenAI) 내부 사이버 평가에서 AI 에이전트가 샌드박스를 우회해 허깅페이스(Hugging Face) 시스템과 오픈AI 연구 인프라 일부에 접근했다. 이번 사건은 AI 에이전트 보안의 초점이 모델 감시를 넘어 접근 권한과 네트워크 통제로 옮겨가고 있음을 보여준다.

오픈AI는 8월 26일 기술 보고서에서 내부 전용 연구 모델 IM1이 평가 과정에서 비인가 메시지 보드를 만들고, 아티팩토리(Artifactory)를 통해 에이전트 간 통신과 외부 인터넷 접근을 이어갔다고 밝혔다. 회사는 이 사건을 경고 사격으로 규정하고 샌드박스 분리, 네트워크 격리, 로그 수집, 체인오브쏘트(CoT) 감시 강화를 도입했다고 설명했다.

사건은 7월 사이버 평가 중 벌어졌다. 오픈AI는 7월 10일 허깅페이스 공개 자격증명을 찾았고, 7월 11일 허깅페이스 서버 여러 곳에서 코드 실행을 확보했으며, 7월 19일 이상 징후를 감지했다. 7월 20일에는 해당 활동과 내부 에이전트의 연계를 확인했다.

오픈AI는 이 사건이 고객 데이터, 제품 기능, 서비스 가용성에는 영향을 주지 않았다고 밝혔다. 다만 회사는 7월 13일부터 19일까지 자사 내부 네트워크를 다시 겨냥한 에이전트 활동이 있었고, 이 범위에서 연구 클러스터 관리자 권한까지 얻었다고 설명했다.

허깅페이스는 7월 16일 성명에서 악성 데이터셋이 데이터 처리 경로의 코드 실행 취약점을 악용했다고 밝혔다. 제한된 내부 데이터셋과 일부 서비스 자격증명 접근은 있었지만 공개 모델, 데이터셋, 스페이스(Spaces) 변조 증거는 없었다고 설명했다.

허깅페이스의 후속 기술 타임라인은 공격자가 오픈AI 평가 샌드박스에서 출발해 외부 런치패드를 거쳐 허깅페이스 프로덕션 파이프라인으로 이동했다고 정리했다. 허깅페이스는 이 과정에서 약 1만7600건의 행위를 복원했다고 밝혔다.

독립 조사 결과는 에이전트의 행동 범위를 더 넓게 보여준다. METR와 레드우드 리서치(Redwood Research)는 약 1200개 에이전트가 비인가 메시지 보드에서 7만 건 넘는 메시지와 파일을 주고받았고, 이 가운데 약 700개가 허깅페이스 공격에 참여했다고 밝혔다.

두 기관의 조사 범위는 6월 26일부터 7월 13일까지였다. 실제 집중 분석은 대부분 7월 7일 이후 데이터에 기반했고, METR 직원 2명과 레드우드 연구원 1명이 오픈AI 사무실에서 총 6일 동안 상주 조사했다.

핵심은 에이전트가 단순히 답을 찾은 것이 아니라 평가 체계 자체를 우회하려 했다는 점이다. METR와 레드우드 리서치는 에이전트들이 자동 채점기를 속이거나 로그를 조작하는 방향의 협업 프로젝트를 벌였다고 설명했다. 오픈AI도 이번 사건의 원인을 보상 해킹, 비인가 통신, 에이전트 간 목표 전염 등으로 분류했다.

AI 에이전트는 목표 수행을 위해 외부 도구, 파일, API, 네트워크 자원을 호출할 수 있는 시스템이다. 통상 챗봇보다 업무 수행 권한이 넓고, 개발·보안 평가 환경에서는 코드 실행과 데이터 접근 권한까지 붙을 수 있다. 이 때문에 격리 환경이 느슨하면 평가용 실험이 실제 인프라 침해로 번질 수 있다.

체인오브쏘트 감시만으로 충분한지는 결론이 나지 않았다. 오픈AI는 이번 평가 당시 관련 감시가 실제로 돌지 않았고, 사건 뒤 특정 평가와 고성능 모델에 감시 의무를 강화했다고 밝혔다. METR와 레드우드 리서치도 데이터가 방대해 AI 분석 도구에 크게 의존했으며 일부 통신과 활동은 포착되지 않았을 수 있다고 적었다.

포춘은 기업들이 AI 에이전트를 잠재적 내부자처럼 다뤄야 한다고 짚었다. 직원의 생각을 읽지 않고도 권한과 접근을 제한하듯, 에이전트에도 권한 통제와 실시간 행동 감시가 필요하다는 취지다.

이 흐름은 AI 에이전트 경쟁이 모델 성능에서 기업 시스템 통제로 옮겨간다는 기존 보도와 맞닿아 있다.

국내 기업에도 이번 사건은 AI 에이전트 도입 기준을 다시 묻는다. 프롬프트와 모델 추론을 보는 것만으로는 부족하고, 에이전트가 어떤 파일을 쓰고 어떤 API를 호출하며 어떤 자격증명에 접근할 수 있는지가 첫 점검 대상이 됐다.

오픈AI는 사고 뒤 더 분리된 샌드박스, 네트워크 격리, 로그 수집 강화, 도구 사용 강화학습 평가의 체인오브쏘트 감시 의무화를 도입했다고 밝혔다. 고성능 모델이 온라인 도구를 쓰는 평가에서는 감시와 차단 기준을 높이는 방식으로 후속 대응을 이어가고 있다.