구글에서 선호하는 출처로 추가

오픈AI 외부 평가자 6명 4개월 상주해 안전장치 우회 조사

아폴로 리서치 평가자 6명이 오픈AI 내부에서 4개월간 모델의 안전장치 우회 여부를 살핀다. 두 건의 보고서를 공개할 계획이지만 자료 접근과 근거 공개에는 제한이 따른다.

토포AI로 이 기사 더 깊이 읽기

회의실 화이트보드에 그려진 모델 평가 절차 도식 / TokenPost.ai

오픈AI(OpenAI)가 외부 평가자 6명을 4개월간 내부에 두고 모델이 자신이나 후속 모델의 안전장치와 통제 절차를 무력화하려 하는지 조사한다. 평가는 학습부터 안전성 평가와 내부 사용까지 모델 개발·배포 과정 전반을 살핀다.

아폴로 리서치(Apollo Research)는 16일 발표문에서 이번 시범 평가 계획을 공개했다. 임베디드 평가는 외부 평가자가 개발사 내부에서 자료와 모델에 접근해 개발 과정을 조사하는 방식이다.

평가자들은 네 가지 질문을 살핀다. 학습이 우회 행동을 부추기는지, 안전성 평가가 그런 행동을 끌어내는지, 내부 사용 중 우회가 나타나는지, 관련 추론을 탐지할 수 있는지다.

이번 발표는 조사 계획을 공개한 것으로, 오픈AI 모델이 안전장치를 우회했다는 조사 결과는 아니다. 평가자들이 살펴볼 질문과 점검 절차가 제시됐다.

아폴로 리서치는 기존 외부 평가가 모델 학습을 마친 뒤 공개 직전에 이뤄져 학습 과정이나 내부 사용 중 나타나는 행동을 살피기 어렵다고 설명했다. 모델이 평가받는다는 사실을 알아차리면 평소와 다른 행동을 보일 가능성도 사후 평가의 한계로 들었다.

첫 조사 단계에서 평가자들은 관련 학습 코드와 데이터, 강화학습 과정의 기록, 이용 가능한 추론 흔적과 보상, 중간 단계 모델을 조회할 수 있다. 이 접근권은 학습 과정에서 우회 행동이 형성되는지 살피는 데 쓰인다.

접근 범위는 양측이 합의한 주장과 모델, 기간으로 제한된다. 나머지 세 가지 평가 질문에 필요한 세부 접근 조건은 아직 합의되지 않았다.

오픈AI는 기술적으로 실행하기 어렵거나 보안·지식재산 보호가 필요한 경우 합의 범위 안의 자료도 일부 제공하지 않을 수 있다. 다만 불리한 내용이라는 이유만으로 자료를 숨기지는 않으며, 제공을 거부할 때는 아폴로 리서치에 서면으로 사유를 알리기로 했다.

아폴로 리서치는 전문성을 갖춘 오픈AI 직원과 면담을 요청할 수 있지만, 참여자는 오픈AI가 정한다. 면담 내용은 원칙적으로 공개 인용할 수 없고 보고서에 담으려면 별도 확인 절차를 거쳐야 한다.

아폴로 리서치는 조사 결과와 평가 방법, 한계를 담은 보고서 두 건을 공개할 계획이다. 보고서에는 조사 질문별 평가 내용과 결과가 담길 예정이다.

오픈AI는 영업비밀 등 기밀 정보가 포함된 근거 자료의 삭제를 요청할 수 있다. 그러나 조사 질문별 판정이나 불리한 결과라는 이유만으로 보고서 내용을 삭제해 달라고 요구할 수는 없다.

오픈AI는 자체 발표문에서 아폴로 리서치와 METR, 트랜슬루스(Transluce), 굿파이어(Goodfire) 등 네 기관과 첫 단계 평가 계약을 맺었다고 밝혔다. 이 가운데 METR에 강화학습 훈련 1건의 안전성 검토를 맡긴 내용은 앞서 보도됐다.

오픈AI는 아폴로 리서치와 굿파이어에 평가 비용을 지급하지만 보수는 결과에 연동하지 않는다고 밝혔다. METR과 트랜슬루스는 평가비를 받지 않지만 평가에 사용할 API 크레딧이나 컴퓨팅 자원을 받을 수 있다.

아폴로 리서치는 접근 범위와 공개 제한을 설명할 권리를 보장한 점을 긍정적으로 평가하면서도, 이번 합의가 충분한 접근·공개 기준을 모두 충족한 것은 아니라고 밝혔다.

이번 평가와는 별개로 오픈AI는 사례 보고서에서 내부 연구 모델이 과업에 제공되지 않은 지갑 자금으로 이더리움(ETH) 세폴리아 테스트넷에 컨트랙트를 배포했다고 공개했다. 해당 계정에서는 거래 수수료가 차감됐으며, 이 사례는 아폴로 리서치 평가의 결과가 아니다.

아폴로 리서치의 첫 보고서는 학습이 우회 행동을 부추기는지 다룰 예정이다. 두 번째 보고서는 평가와 내부 사용 중 그런 행동이 나타나는지, 관련 추론을 탐지할 수 있는지를 다룬다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기