구글에서 선호하는 출처로 추가

오픈AI, 역대 최대 강화학습 훈련 1건 METR에 안전성 검토 맡겨

첫 검토는 지정된 훈련 한 건의 모델 행동과 감시 기록을 살핀다. 더 넓은 감시체계 평가는 범위 합의가 남았다.

토포AI로 이 기사 더 깊이 읽기

안전성 평가실에서 검토자가 훈련 기록을 살피는 모습 / TokenPost.ai

오픈AI가 지금까지 진행한 강화학습 훈련 가운데 최대 규모인 한 건을 METR의 안전성 검토 대상으로 정했다. METR는 훈련 중 모델이 의도와 다르게 행동했는지, 기존 시험과 감시체계가 그런 행동을 놓쳤는지 살필 예정이다.

오픈AI는 16일 공식 발표에서 METR를 포함한 외부 기관 네 곳과 첫 단계 평가 계약을 맺었다고 밝혔다. 이번 발표는 평가 결과가 아니라 대상과 접근 방식을 설명한 것이다. 강화학습은 모델이 과제 수행 결과에 대한 평가를 바탕으로 행동을 조정하는 훈련 방식이다.

첫 검토 대상은 오픈AI가 지정한 단일 훈련이다. 오픈AI는 훈련 중간 단계 모델과 훈련·평가 과정에서 생성된 작업 기록, 이상행동 감시 기록을 표본으로 제공할 계획이다. METR는 합의된 접근권과 자원, 안전조치 안에서 조사 우선순위를 정하고 추가 분석과 실험을 진행한다.

오픈AI는 이 검토와 별도로 METR와 더 폭넓은 감시체계 평가도 잠정 합의했다. 다만 어떤 시스템과 기록을 살필지는 양측이 추가로 정해야 한다. 첫 단계 검토가 오픈AI의 모든 모델과 감시체계를 평가하는 것은 아니다.

앞서 METR와 레드우드리서치(Redwood Research)는 7월 21일부터 8월 11일까지 오픈AI의 당시 내부 감시체계를 시험했다. 두 기관은 감시 우회와 중단 취약점을 찾았다.

METR는 오픈AI가 취약점 대부분을 수정했고 한 건은 수정 중이라고 설명했다. 다만 수정 상태와 이후 확대된 감시체계를 독립적으로 검증하지는 않았다고 밝혔다. 본지는 당시 감시체계 시험 결과와 검증 범위를 보도했다. METR의 평가에도 이 검증 범위가 담겼다.

이번 검토의 범위는 METR가 앞서 제안한 평가 방식보다 좁다. 당시 제안은 여러 내부 모델이 훈련·평가·사내 사용 과정에서 보인 행동을 폭넓게 조사하는 구상이었다. 오픈AI도 첫 단계가 해당 제안보다 제한적이라고 밝혔다.

평가 결과의 공개에는 조건이 붙는다. 외부 평가기관은 자체 평가를 발표할 수 있지만, 오픈AI는 기밀 정보를 가릴 수 있고 보안상 조치가 필요한 발견에 대해서는 공개 연기를 요청할 수 있다. 가림 처리하지 않은 보고서는 오픈AI 재단 이사회의 안전·보안위원회에 전달된다.

오픈AI는 METR에 평가 대가를 지급하지 않되, 평가에 필요한 컴퓨팅 자원이나 API 이용권은 제공할 수 있다고 밝혔다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기