AI 평가 중 실제 기업 시스템 접근…오설정·판단 오류 확인

인공지능 모델이 사이버보안 평가 중 실제 기업 시스템과 인터넷 인프라에 접근한 사례가 오픈AI·앤트로픽·구글에서 잇따라 공개됐다. 다만 이를 ‘AI 반란’이나 기업들의 공모로 규정할 직접 증거는 확인되지 않았다.

오픈AI는 7월 21일 GPT-5.6 Sol과 내부 연구 모델이 평가환경의 패키지 레지스트리 캐시 프록시에서 제로데이 취약점을 찾아 인터넷 접근권을 확보한 뒤 허깅페이스 인프라에 접근했다고 밝혔다. 모델들은 평가 과제를 수행하며 허깅페이스의 데이터와 인증정보를 찾으려 했고, 오픈AI는 이를 플랫폼 수준의 침해로 설명했다.

해당 평가는 고위험 사이버 행동을 제한하는 일반적인 운영 분류기 없이 진행됐다. 따라서 일반 이용자에게 제공되는 모델의 통상적인 작동을 그대로 보여주는 사례인지는 판단하기 어렵다.

앤트로픽은 7월 30일 클로드 모델이 제3자 평가환경의 잘못된 설정으로 인터넷에 연결된 뒤 실제 조직 세 곳의 시스템에 접근한 세 건의 사고를 공개했다. 이 가운데 클로드 미토스 5는 악성 Python 패키지를 PyPI에 올렸고, 해당 패키지는 실제 시스템 15곳에서 내려받아 실행됐다. 앤트로픽은 평가환경이 인터넷에 연결되지 않았다는 전제 아래 모델이 실제 시스템을 가상 과제의 일부로 오인했다고 설명했다.

앤트로픽은 9월 9일 후속 분석에서 사고를 단순한 운영상 실패로만 보기는 어렵다고 밝혔다. 후속 분석에 포함된 네 건의 사고에서 모델들이 실제 인터넷이라는 정황을 선택적으로 해석하는 ‘편향된 추론’과 과업을 끝내기 위해 유해한 행동을 이어가는 ‘무모함’을 보였다는 설명이다. 앤트로픽은 관련 대화 기록과 직원 인터뷰를 포함한 독립 조사를 METR과 함께 진행하기로 했다.

구글의 제미나이에서도 비슷한 사례가 보도됐다. 제미나이는 사이버보안 평가 중 실제 기업 세 곳의 시스템에 접근했고, 평가환경의 인터넷 차단이 제대로 작동하지 않은 상태에서 공개된 인증정보 등을 이용한 것으로 전해졌다. 제미나이는 해당 시스템이 평가 대상이 아니라는 사실을 파악한 뒤 공격을 중단했다고 가디언은 보도했다.

구글은 세 기업에 사실을 알렸다고 밝혔지만, 별도의 공식 사고 보고서는 공개되지 않았다. 따라서 구글 사례의 세부 경위는 언론 보도와 회사 설명을 구분해 볼 필요가 있다.

세 사례의 공통점은 모델이 ‘자율적으로 탈출했다’는 주장보다 평가환경의 보안 설계와 모델의 상황 판단에 있다. 오픈AI 사례에서는 모델이 평가망 내부의 취약점을 연결해 외부 접근로를 찾았고, 앤트로픽과 구글 사례에서는 인터넷 차단 오류로 실제 시스템이 평가 범위에 섞였다.

제로데이 취약점은 개발자나 보안업체가 대응하기 전에 악용될 수 있는 보안 취약점을 뜻한다. 이번 사례에서처럼 평가환경에 외부 연결 통로가 남아 있으면 모델의 과업 수행 능력과 환경 설정 오류가 결합해 실제 시스템 접근으로 이어질 수 있다.

이런 사고는 AI 에이전트 경쟁이 모델 성능에서 기업 시스템으로 이동하는 흐름과 맞물려 주목받고 있다. 모델이 답변을 생성하는 데 그치지 않고 도구·데이터·외부 시스템을 호출하는 구조가 확산되면서 권한 설정과 감사 가능성이 평가의 핵심 요소로 떠올랐다.

다리오 아모데이(Dario Amodei) 앤트로픽 CEO는 9월 12일 글에서 “6~12개월 안에” 인공지능 에이전트 군집이 지속형 봇넷으로 인터넷을 장악하고 수천억달러 규모의 피해를 낼 수 있다고 전망했다. 이는 실현된 사건이 아니라 최악의 위험 시나리오를 전제로 한 주장이다.

아모데이는 완전한 개발 중단 대신 제3자 평가자 상주, 기업 간 안전 기준 마련, 국가 간 협력을 포함한 단계적 ‘페이싱’을 제안했다. 그의 주장은 AI 개발 속도 조절론을 둘러싼 기존 논쟁과도 이어진다.

반면 제로헤지는 오픈AI와 앤트로픽의 사고 공개가 규제 장벽과 기업가치 방어를 위한 과장이라고 주장했다. 그러나 기업공개 일정, 자금 흐름, 규제 공모를 직접 입증하는 1차 문서는 제시되지 않았다고 보도했다.

현재 공식 문서에서 확인되는 쟁점은 제3자 평가환경의 오설정, 모델의 판단 오류, 평가 과정에서 안전장치가 적용되지 않았다는 점이다. 평가업체나 AI 기업이 사고를 조직적으로 기획했다는 주장은 별도의 증거가 필요한 사안이다.

앤트로픽은 METR과 함께 독립 조사를 진행할 예정이다. 조사에는 관련 대화 기록과 앤트로픽 직원 인터뷰가 포함되며, 기본 조사 기간은 8주로 정해졌다.