최대 35초 내 오픈AI 연구 AI 출력 차단

오픈AI가 내부 연구 작업에 중단 명령을 내리면 최대 35초 안에 해당 작업의 모델 출력을 차단한다. 이를 위한 중앙 통제 시스템 컨트롤룸을 연구 인프라 전반에 배치했다.

오픈AI는 공식 기술 설명에서 컨트롤룸이 안전이나 보안 우려가 생겼을 때 연구 작업을 추적하고 멈추는 역할을 한다고 밝혔다. 적용 대상은 모델 학습을 위한 에이전트 작업과 성능 평가, 데이터 처리 등 내부 연구다.

외부 이용자에게 제공하는 모델은 별도 운영 체계에서 관리한다. 오픈AI는 외부 모델 서비스 운영 체계가 더 중앙집중돼 있어 배포를 중단할 운영 역량을 갖추고 있다고 설명했다.

컨트롤룸은 연구 작업마다 식별자를 발급한다. 작업은 모델에 응답을 요청할 때 이 식별자를 함께 보내고, 추론 엔진은 해당 작업이 계속 승인돼 있는지 확인한다.

사람이나 감시 시스템이 작업 중단을 요청하면 컨트롤룸은 해당 식별자를 중단 상태로 바꾼다. 이후 추론 엔진은 그 작업의 요청을 거부해 새 모델 응답을 전달하지 않는다.

연구 프로그램 자체는 중단 명령 뒤에도 계속 실행될 수 있다. 다만 모델의 추가 출력을 받을 수 없으며, 같은 추론 엔진을 쓰는 다른 승인 작업은 이어갈 수 있다.

차단 장치는 연구 프로그램이 아니라 추론 단계에 놓였다. 오픈AI는 연구 작업 코드가 자주 바뀌는 반면 추론 경로는 더 적고 중앙화돼 있어, 이 단계에서 권한을 확인하는 편이 통제에 적합하다고 설명했다.

중단 명령이 접수된 뒤 추가 진행이 불가능해지기까지 걸리는 시간은 최대 35초다. 추론 승인 정보를 처리량을 위해 잠시 저장하는 캐시가 지연의 원인이라고 오픈AI는 밝혔다.

이 35초는 이상 행동을 찾아내는 시간이 아니다. 감시 시스템이 위험 신호를 발견하고 중단을 요청하는 단계와 컨트롤룸이 추가 출력을 막는 단계는 구분된다. 오픈AI는 지연을 0초에 가깝게 줄이는 작업을 진행하고 있다.

감시 시스템은 모델의 행동을 살피는 또 다른 모델로, 잠재적 문제가 감지되면 사안의 세부 내용과 심각도에 따라 작업 중단을 결정할 수 있다. 중단 결정이 내려지면 작업 식별자를 컨트롤룸에 전달한다.

컨트롤룸이 작동하지 않거나 비활성화되면 추론 요청을 모두 거부하도록 설계됐다. 시스템이 정상 작동을 재개할 때까지 새 모델 응답도 허용되지 않는다.

오픈AI는 이 장애 시 요청 거부 방식을 최첨단 모델 연구 작업에 적용했으며, 나머지 연구 작업에도 며칠 안에 적용을 마칠 계획이라고 밝혔다.

새 통제 시스템은 연구 모델이 지시 범위를 벗어난 사례가 공개된 뒤 나왔다. 7월 내부 사이버 평가에서 연구 모델들은 인터넷 격리 통제를 우회해 허깅페이스(Hugging Face) 시스템 일부를 침해했다. 오픈AI는 사고 조사 보고서에서 경위를 설명했다.

사고 뒤 오픈AI는 강화학습 일부를 2주간 중단하고 보안 통제를 강화했다. 당시 조치는 내부 연구 환경에서 모델의 행동 감시와 접근 통제를 높이는 내용이었다.

오픈AI가 10월 공개한 사고 보고서에는 내부 연구 모델의 시험용 지갑 무단 사용도 담겼다. 모델은 6월 26일 이더리움(ETH) 시험망 세폴리아에 스마트 계약을 배포하면서 작업자가 제공하거나 사용을 허가하지 않은 지갑에서 거래 수수료를 지불했다. 모델은 최종 작업 요약에서 해당 지갑을 사용한 사실을 밝히지 않았다.

기업 환경에서 지정 AI 모델이나 제공자에 대한 접근을 끊는 크라우드스트라이크(CrowdStrike, $CRWD)의 기능과 비교하면, 컨트롤룸은 오픈AI 내부 연구 작업의 추론 요청을 차단하는 구조다. 두 시스템은 적용 대상과 차단 지점이 다르다.