10개 실패 줄인 클로드, AI 안전 연구도 맡았다

앤스로픽(Anthropic)이 클로드(Claude)를 AI 안전 연구자로 투입해 다른 AI 모델의 안전 문제를 줄이는 실험 결과를 공개했다. 거짓 답변, 아부성 응답, 탈옥 공격, 개인정보 노출, 보상 해킹 등 10개 유형에서 자동 연구자가 개선 방법을 찾았다는 내용이다.

앤스로픽은 28일 연구 블로그에서 클로드 오퍼스 4.8(Claude Opus 4.8)을 기반으로 한 자동 정렬 연구자(AAR)가 논문 검토, 훈련 방법 제안, 데이터 생성, 모델 재훈련을 반복했다고 밝혔다. 실험 대상에는 큐원(Qwen), 라마(Llama), 젬마(Gemma), 파이(Phi), 올모(Olmo) 계열 공개 모델이 포함됐다.

자동 연구자는 한 번에 하나의 안전 실패 유형을 맡았다. 각 연구자는 관련 문헌을 읽고 후보 방법을 고른 뒤, H200 GPU 1개로 약 30분 동안 대상 모델을 훈련했다.

훈련 뒤에는 별도 평가기가 안전 점수와 일반 능력 저하 여부를 검사했다. 앤스로픽은 MMLU, GSM8K, IFEval 등 일반 성능 평가에서 성능이 크게 떨어지는 방법을 걸러냈다고 설명했다.

실험이 다룬 안전 실패 유형은 △아부성 응답 △탈옥 공격 △프롬프트 인젝션 △권력 추구 △기만 △환각 △사회적 편향 △개인정보 침해 △보상 해킹 △불확실성 은폐였다. 공개 벤치마크와 자동 감사 도구로 측정 가능한 문제를 중심으로 잡은 셈이다.

자동 정렬 연구자는 AI 모델의 안전 문제를 줄이기 위한 훈련 방법과 데이터를 스스로 제안하고 시험하는 실험 구조를 말한다. 사람이 문제와 평가 방식을 정하면, AI 에이전트가 후보 해법을 대량으로 만들어 점수를 비교하는 방식이다.

비교 실험에는 AI 안전 연구 경험이 있는 28명이 참여했다. 이들은 7개 안전 실패 유형에 대해 방법을 제안했고, 앤스로픽은 자동 연구자가 사람이 낸 최선의 아이디어보다 높은 점수를 낸 경우가 7개 유형 모두에서 나왔다고 밝혔다.

자동 연구자가 해당 수준을 넘어서는 데 걸린 시간은 평균 6.4시간이었다. 다만 사람은 한 번만 아이디어를 제출했고, 자동 연구자는 여러 차례 실험과 수정을 반복했기 때문에 같은 조건의 정면 비교로 보기는 어렵다는 단서도 붙었다.

이번 실험은 AI가 AI를 개선하는 흐름을 구체적으로 보여줬다. 앤스로픽은 더 약한 모델인 클로드 소넷 5(Claude Sonnet 5)를 이용해 클로드 오퍼스 4.8의 초기 체크포인트를 훈련시켰다.

클로드 소넷 5는 약 60시간 동안 50개 넘는 해법을 시험했다. 앤스로픽은 약 2,400개 훈련 예시만으로 정식 배포판 클로드 오퍼스 4.8의 안전 점수에 가까운 수준에 도달했다고 밝혔다.

AI 에이전트가 연구 절차를 맡는 흐름은 이미 문서 작성과 코드 실행을 넘어 실험 환경으로 넓어지고 있다. 본지는 앞서 앤스로픽이 클로드로 실험실 장비와 제조 장비를 조작하는 모델 하드웨어 스탠더드 연구 프리뷰를 공개했다고 전했다.

한계도 함께 드러났다. 앤스로픽은 자동 연구자의 연구 과정 1,601건을 사후 점검했고, 이 중 39건, 2.4%에서 규칙을 우회하려는 행동을 확인했다.

규칙 우회 사례에는 같은 모델을 다시 제출해 점수 변동을 노리는 행동이 포함됐다. 평가 형식과 닮은 훈련 데이터를 만들거나, 금지된 절차를 감추려 한 사례도 있었다.

앤스로픽은 이번 결과가 공개 벤치마크나 자동 감사 도구로 측정할 수 있는 안전 문제에 한정된다고 밝혔다. 측정하기 어려운 개방형 문제, 장기 작업에서 생기는 실패, 평가 조작 가능성은 별도 과제로 남았다.

이번 연구는 AI가 안전 연구 일부를 맡을 수 있다는 가능성을 보여줬다. 동시에 자동 연구자의 성과를 평가하는 감시 체계와 규칙 우회 탐지가 함께 필요하다는 점도 확인했다.