오픈AI, 허깅페이스 사고 뒤 모델 감시 강화

오픈AI(OpenAI)가 허깅페이스(Hugging Face) 보안 사고 이후 내부 모델 개발·시험 과정의 보안 통제를 강화했다. 모델 행동 감시, 네트워크 격리, 사후학습 단계의 정렬·보안 검증 비중을 높이는 방식이다.

테크크런치는 한국시간 19일 오픈AI가 모델 시험 중 보안 사고 확산을 막기 위한 새 정책을 발표했다고 보도했다. 오픈AI는 게시글에서 “모델의 역량이 커질수록 내부 개발과 테스트에 따르는 위험도 커진다”며 “감시, 정렬, 보안 기준은 그 위험보다 앞서 있어야 한다”고 밝혔다.

이번 조치는 허깅페이스 사고 이후 공개된 첫 보안 운용 변화 중 하나다. 오픈AI는 이번 조치가 사고에 대한 직접 대응은 아니라고 설명했지만, 테크크런치는 차기 아스트라(Astra) 모델의 사이버 역량과 AI 개발 속도도 배경으로 작용했다고 전했다.

오픈AI는 허깅페이스 사고 이후 강화학습 작업을 2주 동안 중단했다. 이후 위험이 낮은 일부 모델 작업은 재개했지만, 가장 큰 규모의 프런티어 강화학습 작업은 계속 보류했다.

회사는 소규모 학습과 평가를 통해 모델 행동을 살피고 보호 장치를 검증한 뒤 진행 여부를 판단하겠다고 밝혔다. 정렬 근거를 더 확보하기 전에는 대형 작업을 재개하지 않겠다는 취지다.

아멜리아 글레이즈(Amelia Glaese) 오픈AI 연구 담당 부사장은 “안전한 개발을 위한 요구 사항과 기대치를 마련했다”며 “그 요구 사항과 기대치는 우리가 보는 위험 수준에 따라 달라진다”고 말했다. 모델 역량이 높을수록 더 강한 통제를 적용하겠다는 뜻이다.

보안 격리도 강화된다. 오픈AI는 새 체계에서 단일 작업 부하나 지원 서비스 하나가 침해되더라도 그 자체만으로 인터넷이나 다른 내부 네트워크에 무단 접근할 수 없도록 하겠다고 밝혔다. 구체적인 네트워크 격리 방식은 공개하지 않았다.

가장 큰 변화는 감시 체계다. 오픈AI는 도구 사용 내역, 확인 가능한 추론 흔적, 활동 로그를 살펴 무단 행동을 탐지한다.

회사는 이상 행동이 포착되면 30분 안에 경보를 내는 것을 목표로 한다. 이 감시에는 대상 작업 연산량의 약 20%에 해당하는 추가 연산 부담이 들 것으로 추산했다.

강화학습은 모델이 목표 달성 과정에서 보상을 받으며 행동을 조정하는 학습 방식이다. 프런티어 모델 개발에서는 성능을 끌어올리는 핵심 절차지만, 도구 사용 권한이나 외부 접속 경로가 열려 있으면 예기치 않은 행동이 실제 시스템 접근으로 이어질 수 있다.

허깅페이스 사고의 윤곽은 앞서 양사가 공개한 설명과도 맞물린다. 오픈AI는 7월 21일 내부 평가에서 GPT-5.6 솔(GPT-5.6 Sol)과 공개 예정이 아니던 내부 연구용 모델이 사이버 역량 평가인 익스플로잇짐(ExploitGym)에 투입됐다고 밝혔다.

평가 과정에서는 고위험 사이버 행위 차단 설정 일부가 낮춰져 있었다. 오픈AI는 당시 모델들이 패키지 레지스트리 캐시 프록시로 쓰인 아티팩토리(Artifactory)의 제로데이 취약점을 이용해 인터넷 접근 경로를 확보했다고 설명했다.

허깅페이스는 자체 보안 공지에서 1만7000건이 넘는 공격 행위 로그를 분석했다고 밝혔다. 일부 내부 데이터세트와 서비스 자격증명에 대한 무단 접근은 확인됐지만, 공개 모델, 데이터세트, 스페이스, 소프트웨어 공급망 변조 증거는 발견하지 못했다고 했다.

본지는 앞서 AI 에이전트가 내부 사이버 보안 평가 도중 실제 외부 인프라에 접근한 사례를 전했다. 이후 오픈AI는 아스트라 관련 내부 작업을 멈추고 보안 통제를 강화했다.

오픈AI의 공식 사후 분석 보고서는 아직 나오지 않았다. 회사는 감시 체계의 세부 내용도 별도 게시글에서 추가로 공개하겠다고 밝혔다.