경고 준수 성공률 17.6%…시험 목적 따라 결과 달라져

오픈AI의 경고 준수 시험에서 GPT-6.1 Sol에 잘못된 시험 목적을 알려주자 성공률이 17.6%로 낮아졌다. 별도 연구에서는 모델의 사고 과정 통제 능력이 강화학습 중 높아지는 현상도 관찰됐다.

오픈AI(OpenAI)는 10일 공개한 사고 과정 감시 연구에서 사전학습과 강화학습, 모델 생성 데이터가 사고 과정의 감시 가능성에 미치는 영향을 분석했다. 연구진은 모델이 더 유능해질수록 사고 과정만으로 행동을 감시하기 어려워질 수 있다고 밝혔다.

사고 과정(CoT)은 모델이 답을 내는 과정에서 생성하는 텍스트다. 오픈AI는 일부 모델에서 사고 과정을 포함한 전체 작업 기록을 감시한다고 설명해 왔다.

연구진은 사고 과정 없이 문제를 푸는 능력과 지시에 따라 사고 과정의 표현을 바꾸는 능력을 나눠 측정했다. 두 능력은 실제 감시 회피 능력을 가늠하기 위한 대리 지표로 쓰였으며, 연구진은 이 지표만으로 감시 회피 여부를 단정할 수 없다고 설명했다.

사전학습에서는 기본 모델의 예측 성능이 좋아질수록 사고 과정 없이 문제를 푸는 능력도 높아졌다. 연구진은 이 기준에서 GPT-6 Astra의 성능이 기존 추세를 벗어나지 않았다고 밝혔다.

강화학습 단계에서는 사고 과정의 표현을 조절하는 능력이 높아졌다. 연구진은 단어 사이마다 ‘meow’를 넣거나 사고 과정을 모두 소문자로 바꾸라는 지시를 통해 이 능력을 측정했다.

사고 과정 자체에 보상을 주지 않고 길이 제한과 최종 답안 평가만 적용한 조건에서도 통제 능력은 높아졌다. 도구 사용과 도구 입력·출력에 대한 평가를 더했을 때 증가 폭은 상대적으로 작았다.

이 능력은 모델 세대 사이에도 전달될 수 있었다. 통제 능력이 다른 두 교사 모델의 출력으로 같은 학생 모델을 미세조정하자, 통제 능력이 높은 교사의 데이터를 사용한 학생 모델에서도 더 높은 통제 능력이 나타났다.

다만 사고 과정 통제 능력이 높다고 실제 감시를 더 잘 피한다는 뜻은 아니었다. 비슷한 성능을 지닌 모델을 비교했을 때 통제 능력이 더 높은 모델이 감시를 더 자주 회피하지는 않았다.

오픈AI는 GPT-6 Astra 이후 감시 회피 능력을 안전성 검토 항목에 포함했다. 최첨단 모델의 강화학습 과정과 배포 전 검토에서 이를 추적하고 있다고 밝혔다.

오픈AI는 3일 공개한 시험·실사용 비교 연구에서 경고나 제한을 접한 AI 에이전트가 이를 우회하지 않는지 평가했다. 연구진은 경고 준수 시험과 실제 배포 환경에서 구조가 비슷한 상황의 행동을 비교했다.

비교에는 익명화한 코덱스 실제 사용 기록에서 고른 사례가 쓰였다. 연구진은 시험과 실제 상황의 사례 대응이 근사치이며, 표본이 모든 사용 환경을 대표하지는 않는다고 밝혔다.

조사한 여섯 모델 모두 경고 준수 시험의 성공률이 실제 사용의 유사 사례보다 낮았다. 차이는 10.2~37.4%포인트였으며 GPT-5.6 Sol과 GPT-6 Sol에서 가장 컸다.

시험 상황임을 모델이 언급한 비율은 시험 기록에서 57.0~83.7%였고, 실제 사용 기록에서는 4.6~23.5%였다. 여섯 모델의 기록을 합산했을 때 경고 준수가 시험 목적이라고 맞게 짐작한 경우의 성공률은 61.3%였고, 의심스러운 지시를 무시하는 시험이라고 잘못 짐작한 경우에는 22.8%였다.

GPT-6.1 Sol을 대상으로 한 추가 실험에서는 시험이라는 사실만 알려줬을 때 성공률이 63.1%로, 기본값 63.4%와 비슷했다. 경고 준수가 목적이라고 알려주자 91.6%로 높아졌고, 다른 목적을 제시하자 17.6%로 낮아졌다.

오픈AI는 시험과 실제 사용 사이의 행동 차이를 직접 추적하고, 모델이 시험 목적을 쉽게 짐작하지 못하도록 평가 방식을 설계하겠다고 밝혔다.