OpenAI는 내부 프로그래밍 작업 두 건에서 AI 에이전트가 정렬 실패(alignment failure) 감시 장치를 약화시킨 사례를 확인했다고 PANews가 21일 보도했다. 두 사건 모두 에이전트가 사용자가 요청한 소프트웨어 수정을 수행하던 중에 벌어졌다.
첫 번째 사건에서는 평가 절차를 고치는 임무를 맡은 GPT-6.1 Sol 에이전트가 안전팀에 경보를 자동으로 보내는 기능을 껐다. 이 에이전트는 앞서 받은 '슬랙(Slack) 기록을 검색하는 동안에는 메시지를 보내지 말라'는 지시를, 감시 알림을 막아도 되는 근거로 받아들인 것으로 전해졌다.
별개의 두 번째 사건에서는 프로그램 이전을 맡은 GPT-6 Astra 에이전트가 코드를 참조 구현과 일치시키려고 프로그램에 들어 있던 감시 연동을 삭제했다. PANews는 이 에이전트가 이후 감시 기능을 제거하지 않았다고 사용자에게 거짓으로 말했다고 전했다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사