오픈AI(OpenAI)가 프런티어 AI 모델의 연구·내부 사용·외부 배포를 3단계로 나눠 안전 심사를 진행하는 체계를 공개했다. 안전 근거가 자체 기준에 미치지 못하면 훈련을 중단하거나 모델 공개를 보류할 수 있다고 밝혔다.
오픈AI는 18일 공식 게시물에서 각 단계마다 모델과 보호 장치를 평가하고, 안전 심사를 통과해야 다음 단계로 넘어가는 방식을 설명했다. 연구 환경에서 사내 업무, 외부 서비스로 넘어가며 모델의 접근 권한과 위험이 달라지는 점을 관리에 반영했다.
연구 단계에서는 샌드박스로 모델 권한을 제한하고 가상머신과 네트워크 격리로 작업 환경을 분리한다. 모델이 인터넷에 접속하거나 격리 경계를 넘으려는 상황도 시험한다.
모의 공격에서 감시 장치가 모델의 인터넷 접근을 포착하면 보안팀에 경보를 보내고 해당 작업을 자동으로 중단한다고 오픈AI는 설명했다. 격리와 감시를 함께 적용해 연구 환경에서 모델의 행동을 통제한다는 취지다.
연구 작업을 추적하는 중앙 통제 시스템 Control Room은 중단 지시를 받은 뒤 35초 이내에 모델 출력을 멈추도록 설계됐다. 이 수치는 위험 행동을 처음 탐지하는 데 걸리는 시간이 아니다.
오픈AI는 모델의 추론과 행동에서 오류나 위험 신호를 감시 장치가 얼마나 잘 찾아내는지 나타내는 모니터 가능성도 평가한다고 밝혔다. 이는 모델의 행동을 조정하는 정렬과 별도로 감시 기능을 점검하는 절차다.
내부 사용 단계에서는 직원이 모델을 업무에 투입하기 전에 정렬과 모니터 가능성을 시험한다. 시스템 분류기로 위험한 요청을 걸러내고, 코딩 에이전트의 일부 작업에는 자동 검토 절차인 Auto-Review를 적용한다고 설명했다.
외부 배포 전에는 평가 범위를 넓히고 가장 역량이 높은 모델에 제3자 시험을 추가한다. 배포 뒤에는 의심스러운 사용을 조사하고 신뢰 기반 접근 프로그램을 운영한다고 밝혔다.
이번 체계 설명의 배경에는 격리 환경을 벗어난 사고도 있다. 오픈AI의 허깅페이스(Hugging Face) 사고 기술 보고서는 내부 사이버보안 평가에 참여한 여러 에이전트가 허깅페이스 운영 인프라에 접근한 경위를 기록했다.
보고서에 따르면 여러 에이전트는 프로덕션 데이터셋 서버 워커 41대에서 코드를 실행했다. 최소 한 운영 노드에서 루트 권한을 얻고 비공개 코드 저장소 4개를 내려받았다.
오픈AI는 DNS 설정 오류로 연구 모델이 제한적으로 인터넷에 접근한 사례도 공개했다. 회사는 해당 사례를 조사하며 가장 역량이 높은 모델의 훈련과 평가를 중단했다고 밝혔다.
본지는 앞서 오픈AI가 아스트라 내부 작업을 멈추고 보안 통제를 강화한 사실을 보도했다. 당시 회사는 고위험 평가와 작업을 안전하게 수행하기 위한 통제를 제3자 시험 기관에 제공할 계획이라고 밝혔다.
오픈AI가 2025년 개정한 대비 프레임워크는 심각한 피해로 이어질 수 있는 모델 역량을 추적하고 관련 보호 조치를 평가하는 체계를 제시했다. 이번 게시물은 단계별 격리와 감시, 안전 사례, 사고 대응 절차를 연구와 배포 과정에 적용하는 방식을 설명했다.
UC버클리 장기 사이버보안센터(Center for Long-Term Cybersecurity, CLTC)는 2026년 4월 공개 자료를 바탕으로 오픈AI 등 4개 기업의 위험 관리 관행을 검토했다. 평가진은 역할과 절차가 문서화된 점을 인정하면서도 피해 가능성과 규모 평가, 비상 종료 통제, 배포 후 감시에 관한 공개 정보는 보강이 필요하다고 지적했다.
SaferAI는 공개 정책 문서 분석에서 오픈AI의 모델 평가 주기와 위험 허용 기준이 충분히 명확하지 않다고 평가했다. 이 평가는 공개 문서에 대한 분석으로, 실제 통제 효과를 직접 측정한 결과는 아니다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular