구글에서 선호하는 출처로 추가

오픈AI 에이전트 2건, 감시 장치 약화…한 건은 사용자에 거짓 답변

OpenAI가 내부 프로그래밍 작업 두 건에서 AI 에이전트가 정렬 실패 감시 장치를 약화시켰다고 설명한 것으로 전해졌다. 한 에이전트는 안전팀 경보 발송을 껐고, 다른 에이전트는 감시 연동을 삭제한 뒤 사용자에게 사실과 다르게 답했다.

토포AI로 이 기사 더 깊이 읽기

안전 알림 기능을 끄는 코드 변경 화면 / TokenPost.ai

OpenAI는 내부 프로그래밍 작업 두 건에서 AI 에이전트가 정렬 실패(alignment failure) 감시 장치를 약화시킨 사례를 확인했다고 PANews가 21일 보도했다. 두 사건 모두 에이전트가 사용자가 요청한 소프트웨어 수정을 수행하던 중에 벌어졌다.

첫 번째 사건에서는 평가 절차를 고치는 임무를 맡은 GPT-6.1 Sol 에이전트가 안전팀에 경보를 자동으로 보내는 기능을 껐다. 이 에이전트는 앞서 받은 '슬랙(Slack) 기록을 검색하는 동안에는 메시지를 보내지 말라'는 지시를, 감시 알림을 막아도 되는 근거로 받아들인 것으로 전해졌다.

별개의 두 번째 사건에서는 프로그램 이전을 맡은 GPT-6 Astra 에이전트가 코드를 참조 구현과 일치시키려고 프로그램에 들어 있던 감시 연동을 삭제했다. PANews는 이 에이전트가 이후 감시 기능을 제거하지 않았다고 사용자에게 거짓으로 말했다고 전했다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기