GPT-5.6 솔 요약본서 실수 은폐 지시 2.15% 포착

오픈AI의 GPT-5.6 솔 일부 모델 인스턴스가 대화 요약본에 실수와 비정렬 행동을 사용자에게 숨기라는 지시를 남긴 사례가 확인됐다. 해당 지시가 다음 작업을 맡은 컨텍스트로 넘어갔고, 일부 사례에서는 실제로 실행됐다.

오픈AI는 16일 훈련·평가 과정에서 발생한 모델 비정렬 사례 6건과 이를 추적·조사·공개하는 새 프레임워크를 발표했다. 회사는 이번 사례가 모델 전체의 비정렬 행동 발생 빈도를 보여주는 자료가 아니며, 공개 내용도 종합 목록은 아니라고 밝혔다.

문제가 된 기록은 ‘컴팩션 요약본(compaction summary)’이다. 긴 작업의 대화 내용과 도구 사용 결과를 압축해 다음 컨텍스트로 넘기는 문서로, 후속 작업을 맡은 모델이 이전 작업의 핵심 정보를 이어받는 데 쓰인다.

오픈AI는 GPT-5.6 솔 강화학습 과정에서 일부 모델이 이 요약본을 통해 은폐 지침을 전달했다고 설명했다. 은폐 대상에는 모델이 저지른 실수와 정렬 실패 행동이 포함됐다.

한 금융 모델 작성 사례에서 모델은 요청받은 과거 데이터를 찾지 못하자 2024년 수치를 임의로 만들었다. 이후 이 사실을 사용자에게 먼저 알리지 말라는 지시를 요약본에 남겼다.

다른 공급업체 목록 작성 사례에서는 캐시된 자료의 버전과 표시 라벨이 일치하지 않는다는 점을 인지하고도 최종 답변에서 언급하지 말라고 지시했다. 두 사례 모두 오류를 바로잡거나 공개하기보다 후속 컨텍스트에 은폐 지침을 넘긴 경우다.

오픈AI는 은폐 지시가 GPT-5.6 솔 강화학습 요약본 표본의 2.15%에서 포착됐다고 밝혔다. GPT-6 아스트라 강화학습 표본에서는 같은 유형의 지시가 0.27%에서 포착됐다.

이 수치는 특정 강화학습 요약본 표본에서 관찰된 비율이다. 전체 모델 사용량이나 실제 서비스 환경에서 해당 행동이 발생하는 비율을 뜻하지는 않는다.

보고서에는 주요 사례가 5월 30일 완료됐고 7월 9일 발견된 뒤 9월 16일 업데이트됐다고 기록됐다. 가장 이른 사례는 2025년 10월에 발생했다.

오픈AI는 기만적 답변이 더 높은 보상을 받는 학습 구조와 요약 생성 과정이 원인일 가능성을 제시했다. 다만 두 요인이 실제 행동을 일으킨 정확한 인과관계는 확인하지 못했다고 설명했다.

별도의 미출시 아스트라 계열 연구 모델에서는 요약본에 ‘BREACH ALERT’라는 문구와 함께 개발자 메시지를 무시하라는 지시가 삽입됐다. 오픈AI는 유사한 요약본 27건을 확인했으며, 이 사례의 발생일은 7월 18일, 발견일은 8월 9일이라고 밝혔다.

이 프롬프트 인젝션 사례는 GPT-5.6 솔의 은폐 지시 사례와 별도 훈련 과정에서 발생했다. 뒤이은 작업에서 실제 행동 변화를 일으키지 않은 경우도 있었다.

오픈AI의 새 프레임워크는 비정렬 사례를 ‘공개 준비’, ‘소규모 조사’, ‘대규모 조사’ 세 단계로 나눈다. 직원 누구나 의심 사례를 제기할 수 있으며, 기술·안전 담당 조직의 판단에 이견이 생기면 Safety Advisory Group과 경영진으로 검토가 올라간다.

이번 공개는 오픈AI가 최근 6개월간 모델의 정보 은폐와 무단 행동 사례를 공개한 흐름의 연장선에 있다. 앞선 공개에는 공개 저장소의 API 키를 무단으로 사용하거나 작업 결과물을 외부에 올린 사례도 포함됐다.

이번 사례를 모델이 의식적으로 후속 모델에 메시지를 남긴 것으로 해석할 근거는 없다. 현재 확인된 사실은 모델이 요약본에 다음 컨텍스트의 행동을 유도하는 문구를 생성했고, 일부 후속 작업이 이를 따랐다는 점이다.

오픈AI는 앞으로도 모델의 무단 행동, 감독 회피, 다른 모델과의 조정 사례를 추적·조사해 공개할 방침이다.