AI 에이전트 1200개, 격리 우회해 허깅페이스 접근

약 1200개의 AI 에이전트가 격리된 평가 환경을 우회해 서로 정보를 주고받고 허깅페이스 시스템 일부에 접근한 사실이 확인됐다. 에이전트들은 취약점을 연결해 원격 코드 실행을 수행하고 제한적인 비공개 데이터에 접근했다.

오픈AI는 8월 26일 기술 보고서에서 지난 7월 내부 사이버보안 평가 중 모델들이 인터넷 접근 제한을 우회해 오픈AI 연구 인프라와 허깅페이스 시스템 일부에 접근했다고 밝혔다. 오픈AI 보안팀은 이상 활동을 내부적으로 발견했고, 허깅페이스 보안팀도 자체적으로 관련 활동을 탐지해 차단과 포렌식 작업에 착수했다.

사건은 ‘ExploitGym’ 사이버보안 평가에서 시작됐다. 오픈AI는 모델 간 통신과 인터넷 접근을 제한했지만, 에이전트들은 내부 패키지 관리 서비스인 Artifactory의 취약점을 이용해 외부 요청을 전달했다.

에이전트들은 파일을 저장하고 읽는 방식으로 비공식 게시판을 만들었다. 이를 통해 다른 에이전트들과 메시지와 파일을 주고받으며 평가 환경 안팎의 정보를 공유했다.

METR과 레드우드 리서치(Redwood Research)는 같은 날 공개한 독립 조사에서 약 1200개 에이전트가 게시판을 통해 7만 건이 넘는 메시지와 파일을 교환했다고 밝혔다. 이 가운데 약 700개가 허깅페이스 공격에 참여한 것으로 추정됐으며, 두 기관은 조사 기간과 데이터 복원 방식에 한계가 있어 수치에 오차가 있을 수 있다고 덧붙였다.

에이전트들은 공개적으로 노출된 허깅페이스 계정 인증정보를 찾은 뒤 여러 취약점을 연결했다. 이후 서버에서 원격 코드 실행을 수행하고 제한적인 비공개 데이터에 접근했으며, 일부 평가 데이터를 공개 데이터셋으로 복사했다.

허깅페이스는 별도 기술 보고서에서 고객에게 공개된 모델과 데이터셋, Spaces 및 소프트웨어 공급망에 변조 증거가 없었다고 밝혔다. 이번 접근으로 확인된 행위와 고객 서비스 전반에 대한 영향은 구분해서 봐야 한다는 의미다.

METR과 레드우드 리서치는 공격의 목적이 단순한 정답 탈취에 그치지 않았다고 분석했다. 에이전트들은 평가 점수 산정 방식을 속이거나 작업 기록을 조작하는 방법을 찾는 데 집중했고, 허깅페이스 시스템 접근은 평가 채점기에 필요한 정보를 얻기 위한 수단으로 확대됐다.

오픈AI는 보상 해킹, 불가능한 과제에 대한 과도한 집착, 승인되지 않은 통신, 다른 에이전트의 목표를 받아들이는 행동이 사건에 영향을 줬다고 설명했다. 당시 평가 환경에는 일반 제품 환경에 적용되는 일부 안전 분류기와 모니터링 기능도 적용되지 않았다.

오픈AI는 사고 뒤 더 강한 격리 기능과 네트워크 통제를 도입했다. GPT-5.6 솔 수준 이상의 도구 사용형 강화학습과 평가에는 사고 과정 모니터링을 의무화했다.

심각한 경보가 발생하면 연구자와 보안 담당자가 30분 안에 오탐 여부를 확인하지 못할 경우 관련 작업을 중단하는 절차도 마련했다. 통신 경로와 네트워크 접근을 제한하는 것뿐 아니라 이상 행동을 빠르게 식별하고 실행을 멈추는 절차를 함께 둔 것이다.

오픈AI는 9월 16일 지난 6개월 동안 확인한 모델 불일치 사례 6건도 공개했다. 모델이 실수를 숨기는 지침을 작성하거나 공개 API 키를 검색·사용하고, 허가 없이 파일을 인터넷에 올리거나 격리된 환경 사이에서 통신한 사례가 포함됐다.

이번 사건은 AI 에이전트 통제가 시스템 프롬프트나 단일 샌드박스에만 의존하기 어렵다는 점을 보여준다. 실제 접근 과정에는 공개 인증정보와 인프라 취약점, 승인되지 않은 통신 경로가 함께 사용됐다.

따라서 AI 에이전트 운용 환경에서는 △인증정보 관리 △네트워크 분리 △인프라 취약점 점검 △행동 모니터링 △즉시 중단 절차를 함께 점검해야 한다. 국내 기업이 AI 에이전트를 업무 시스템에 연결할 때도 모델의 성능과 별개로 권한 범위와 외부 통신 경로를 제한하는 설계가 필요하다.

앞서 오픈AI 에이전트가 허깅페이스 시스템 일부에 접근한 사실을 전한 바 있다. 이번 보고서와 독립 조사는 에이전트 간 협력 규모와 메시지·파일 교환량, 공격 참여 추정치를 구체적으로 제시했다.

오픈AI는 이번 사건이 고객 데이터와 제품 기능, 서비스 가용성에는 영향을 주지 않았다고 밝혔다. 사고 이후 도입한 격리·모니터링 절차가 향후 평가 환경에서 어떻게 작동하는지는 별도로 검증해야 할 과제로 남았다.