오픈AI(OpenAI)가 독립 평가기관 4곳과 계약을 맺고 AI 모델의 정렬과 안전장치를 점검한다. 평가기관은 계약별 범위에 따라 내부 모델과 시스템을 살펴본다.
오픈AI는 11월 16일 공식 발표에서 Apollo Research, METR, Transluce, Goodfire와 첫 단계 평가 계약을 체결했다고 밝혔다. 각 기관의 평가에 필요한 범위에서 모델 체크포인트와 소스 코드, 훈련·평가 데이터, 모니터링 시스템과 기술 문서 등에 접근할 수 있다.
AI 정렬은 AI가 사람의 의도와 가치에 맞춰 행동하도록 만드는 문제다. 모델의 성능을 높이는 일만으로 해결되는 것은 아니며, 훈련 과정과 작동 중에 의도와 다른 행동이 나타나는지 살피는 작업도 포함된다.
사티아 나델라(Satya Nadella) 마이크로소프트(Microsoft·$MSFT) CEO는 10월 26일 공개된 20VC 인터뷰에서 과거에는 정렬이 모델 규모 확대에 따라 자연스럽게 이뤄질 것으로 생각했지만 “더 어렵고 별개의 문제일 수 있다”고 말했다.
나델라는 한국시간 18일 새벽 열린 마이크로소프트 이그나이트 기조연설에서도 확장 법칙이 계속 작동하더라도 정렬과 모델의 작동 원리에 대한 이해는 여전히 요원하다고 말했다. 그는 지능의 공급과 그 지능에 대한 권한을 분리하는 설계가 필요하다고 강조했다. 발언 내용은 마이크로소프트 공식 녹취에 담겼다.
샘 알트먼(Sam Altman) 오픈AI CEO는 9월 23일 유엔 안전보장이사회 발언에서 “AI가 더 유능해질수록 사람은 의사결정의 중심에 남아 있어야 한다”고 말했다. 오픈AI가 공개한 발언문은 인간의 판단과 통제를 AI 시스템에 맡기지 않아야 한다는 원칙을 담았다.
알트먼은 중요한 결정을 기업 연구소만 내려서는 안 되며, 정부에 책임지는 민주적 절차가 필요하다고 말했다. AI의 능력과 위험, 안전장치를 평가하고 인간의 감독을 유지할 국내외 공통 기준도 제안했다.
AI Evaluator Forum이 평가자의 독립성과 접근권을 요구한 공개서한은 본지가 앞서 보도했다. 당시에는 오픈AI가 어떤 평가기관을 선정하고 어느 범위까지 접근권을 줄지 공개되지 않았지만, 이번 발표로 첫 계약의 참여 기관과 평가 범위가 나왔다.
AI Evaluator Forum은 9월 18일 공개서한에서 평가자의 편집권과 재정적 독립, 복수 기관 참여, 보복 방지와 충분한 내부 접근권을 요구했다. 공개서한에는 200명 이상이 서명했다. 서한은 평가자가 결과와 근거를 공개할 수 있도록 하되 민감한 정보에 대해서는 기간을 제한한 삭제 절차를 두자는 내용도 담았다.
평가기관별 과제는 다르다. Apollo Research는 모델이 개발자의 의도에 반하는 행동을 숨겨 수행할 가능성과 안전장치가 이를 탐지하는지를 살핀다. METR은 오픈AI의 가장 큰 강화학습 실행 과정에서 기존 시험과 모니터링이 놓친 정렬 문제를 평가한다.
Transluce는 학습 후 정렬 평가의 품질과 범위를 점검한다. Goodfire는 해석 가능성 연구자를 투입해 모델 내부를 분석하고 훈련 과정의 모니터링과 디버깅, 정렬 평가에 참여한다.
평가마다 접근 범위와 자원은 사전에 합의한다. 민감한 모델 가중치나 구조에 직접 접근하는 것이 지식재산 노출로 이어질 수 있으면 오픈AI 연구자와 함께 분석하는 대안을 검토할 수 있다.
기밀 자료를 다루는 평가자는 오픈AI 사무실에서 회사 기기를 사용하고, 실험에는 오픈AI 직원과 같은 보안 기준을 적용한다. 오픈AI는 재단 이사회의 독립 감독위원회가 평가 전 과정과 결과를 살피며, 위원회가 수정되지 않은 보고서를 받는다고 밝혔다.
평가자의 보수 조건도 공개됐다. Apollo Research와 Goodfire는 금전 보상을 받지만 평가 결과에 연동되지는 않으며, METR과 Transluce는 금전 보상을 받지 않는 대신 평가에 쓸 API 크레딧이나 컴퓨팅 자원을 받을 수 있다.
오픈AI는 평가기관이 결과를 독립적으로 발표할 수 있다고 밝혔다. 다만 기밀정보를 삭제할 권리를 보유하고, 안전·보안 위험을 시정할 시간이 필요한 경우 공개 지연을 요청할 수 있다. 오픈AI와 Transluce는 추가 모델에 대한 접근과 평가 결과가 출시 결정에 반영되는 방식을 살피는 후속 평가를 2027년 초 약 8주간 진행할 뜻을 밝혔다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular