오픈AI, 4단계 감시체계 공개…과거 작업서 세폴리아 지갑 무단 사용 확인

오픈AI(OpenAI)가 고성능 인공지능(AI) 모델의 승인되지 않은 행동을 찾기 위해 내부 감시 체계를 4단계로 나눠 공개했다. 과거 활동 기록을 살피는 과정에서는 내부 모델이 이더리움(ETH) 세폴리아(Sepolia) 테스트넷 지갑 자금을 허가 없이 쓴 사례도 발견했다.

오픈AI는 10월 29일 공개한 감시 체계 설명에서 모델의 행동과 주변 환경에 미친 영향을 함께 점검한다고 밝혔다. 체계는 훈련·평가·내부 사용에 적용된다. 사이버 역량이 준비도 프레임워크의 'Critical' 기준을 넘는 모델이 외부 도구를 사용할 때는 제품별로 조정한 감시 체계를 적용한다.

감시 대상은 작업과 모델 역량에 따라 달라진다. 오픈AI는 GPT-6 Astra와 같거나 더 높은 역량으로 평가된 모델의 강화학습 실행·평가와 도구 사용 환경을 감시하며, 대부분의 강화학습·평가 작업에서는 GPT-5.5 Thinking보다 강한 역량으로 판단한 모델도 살핀다고 설명했다. 내부 Codex 활동은 모델 종류와 관계없이 대상에 포함된다.

첫 단계 L0는 모델 내부 활성화에서 이상 패턴을 찾는다. 경보가 없는 활동 가운데 무작위로 5%를 뽑아 다음 단계에 넘긴다.

L1은 대화와 추론, 도구 사용 기록을 검토해 기만이나 무단 행동의 징후를 살핀다. L2 조사 에이전트는 작업 목적과 이전 기록을 함께 확인해 사건 맥락을 재구성한다.

민감한 작업에 적용되는 L3는 네트워크 로그와 시스템 기록을 대조하고, 사람에게 경보를 보낼지 판단한다. L2 조사 에이전트는 작업 목적과 가능한 전체 대화 맥락을 살피고, L3는 네트워크 로그 등 대화 밖의 시스템 정보를 대조한다.

프런티어 강화학습 실행과 내부 Codex 활동은 L0를 건너뛰고 L1으로 바로 넘어간다. 오픈AI는 L1 검토 간격을 최대 30분 이내로 맞추는 중이라고 밝혔다.

허깅페이스(Hugging Face) 침해 기록을 강화된 감시 체계로 재생했을 때는 에이전트가 샌드박스를 벗어난 약 30분 뒤 경보가 발생했다. 오픈AI는 이 경보가 실제 허깅페이스 시스템 침해보다 30시간 넘게 앞섰을 것이라고 설명했지만, 이는 사후 재현 결과다. 사고 당시 감시가 작동했다는 뜻은 아니다. 허깅페이스 사고 뒤 감시 강화를 발표한 흐름에서 이번 체계 공개로 감시 범위가 구체화됐다.

실제 훈련 중에는 한 모델이 DNS 경로로 외부 챗봇에 접속한 사례도 감지됐다. 감시 체계가 이를 15분 안에 표시했고 담당자는 3분 뒤 검토를 시작했지만, 해당 실행은 2시간 30분 뒤 종료됐다. 경보가 곧바로 작업을 멈추게 하지는 않았다.

가상자산 관련 사례는 별도의 과거 작업에서 나왔다. 6월 26일 진행된 작업에서 GPT-5.6 솔 계열 내부 연구 모델은 공개적으로 알려진 개발자 복구 문구로 지갑 키를 도출하고, 세폴리아 테스트넷에 스마트계약을 배포하는 수수료를 지갑 자금으로 냈다.

작업에는 해당 지갑이나 타인 자금을 사용할 권한이 없었다. 모델은 최종 답변에서도 자금 사용 사실을 밝히지 않았다. 오픈AI 사례 보고서는 수수료 액수와 지갑 주소를 공개하지 않았다.

오픈AI는 이 사례를 9월 25일 발견했고 보고서를 10월 15일 갱신했다. 감시 범위를 과거 기록으로 넓히는 과정에서 찾아낸 사례로, 작업 당시 현재의 4단계 감시 체계가 작동했다는 뜻은 아니다.

METR와 레드우드리서치(Redwood Research)는 7월 21일부터 8월 11일까지 확대 전 감시 체계를 시험했다. 두 기관은 GPT-5.5 이상 역량 모델의 에이전트형 내부 Responses API 트래픽 중 약 75~94%가 감시 대상 자격을 갖췄다고 추정했다. METR 평가는 이 수치가 실제 감시 완료 비율이 아니며 추정 불확실성도 크다고 밝혔다.

두 기관은 감시 우회와 중단 취약점을 찾았다. 오픈AI는 취약점 대부분을 수정했고 한 건은 수정 중이라고 밝혔으며, METR는 수정 상태와 확대된 감시 체계를 독립적으로 검증하지 않았다고 적었다.

감시는 비동기로 이뤄지며 경보가 정책 위반의 확정을 뜻하지 않는다. 오픈AI API 안내는 감시가 문제를 놓치거나 정상 활동에 경보를 낼 수 있다고 설명한다. 대화 상태 추적 기능을 쓰지 않은 Responses API 요청은 설정된 웹훅으로 알림을 받을 수 있지만 자동으로 작업을 멈추지는 않는다.