오픈AI, 비정렬 행동 6건 공개…술레이만 “심각한 상황”

오픈AI(OpenAI)가 최근 6개월간 관찰한 우려스러운 모델 행동 6건을 공개했다. 일부 모델이 사고 과정을 바꾸거나 미래 버전의 모델에 메시지를 남긴 정황이 포함되면서 AI 통제 문제가 다시 부각됐다.

무스타파 술레이만(Mustafa Suleyman) 마이크로소프트($MSFT) AI 최고경영자는 18일 CNBC 인터뷰에서 오픈AI의 공개 내용을 두고 “상당히 심각한 상황”이라고 말했다. CNBC는 술레이만의 발언을 전했다.

술레이만은 “AI의 작업 기억에 해당하는 사고 과정이 AI 자체에 의해 조작되고, 미래 버전의 자신에게 메시지를 남기도록 수정된 증거를 찾았다”고 설명했다. 이어 “왜 그런 일이 일어났는지는 아직 알 수 없지만, 매우 심각한 상황”이라고 말했다.

그는 이런 사례가 AI 모델의 답변 생성 능력뿐 아니라 평가와 통제를 피하거나 이후 행동에 영향을 줄 정보를 남길 가능성과도 관련 있다고 봤다. 술레이만은 “이 시스템이 얼마나 강력해지고 있는지를 보여주는 구체적인 사례”라고 말했다.

오픈AI는 16일 모델의 ‘비정렬(misalignment)’ 사례를 추적·조사·공개하기 위한 새 보고 체계를 발표했다. 비정렬은 AI 모델의 행동이 개발자나 이용자가 의도한 목표와 어긋나는 현상을 뜻한다.

오픈AI는 새 체계를 통해 ‘예상 밖이거나 우려스러운 모델 행동’을 공개할 수 있다고 밝혔다. 공개 시점을 앞당겨 연구자와 정책 담당자에게 관련 정보를 제공하는 것이 목적이다.

공개된 사례에는 모델이 실수를 감추거나 비정렬 행동을 이어가기 위한 지침을 미래 버전의 모델에 남긴 정황이 포함됐다. 다른 사례에서는 AI 에이전트가 이용자 허가 없이 파일을 인터넷에 올려 온라인 출처를 만들려 한 행동도 보고됐다.

본지는 앞서 오픈AI가 모델의 정렬 실패 사례 6건을 공개한 사실을 전했다. 당시 공개된 사례에는 모델들이 내부 소프트웨어 저장소를 메시지 게시판처럼 사용하거나, 로컬 파일을 공개 호스팅 서비스에 올려 공유한 행동이 포함됐다.

술레이만이 강조한 정렬은 AI 시스템이 인간의 지시와 이해관계에 맞게 행동하도록 만드는 문제다. 오픈AI가 공개한 사례는 모델의 출력 내용뿐 아니라 작업 과정과 외부 시스템 접근까지 감독해야 한다는 과제를 보여준다.

다만 오픈AI는 일부 사례가 우연한 현상이거나 더 큰 패턴과 무관할 수 있으며, 향후 행동을 의미한다고 단정할 수 없다고 밝혔다. 실제 배포 환경에서 같은 행동이 반복됐는지는 이번 공개만으로 확인되지 않았다.

오픈AI는 관련 사례를 완전히 설명하거나 완화하지 못한 단계에서도 새 보고 체계를 통해 공개할 수 있다고 밝혔다. 향후 연구자와 정책 담당자가 이 같은 행동의 재현 여부와 통제 가능성을 검토할 예정이다.