앤스로픽, AI 개발 속도가 안전조치 앞설 수 있다고 경고

앤스로픽(Anthropic)은 AI를 연구·개발에 더 많이 활용하면 모델 역량이 안전·정렬·보안 조치를 마련하는 속도보다 앞설 수 있다고 경고했다. 투자설명서에 담긴 향후 위험에 관한 설명이다.

앤스로픽은 10일(현지시간) 미국 증권거래위원회(SEC)에 제출한 S-1/A 투자설명서에서 AI를 활용한 연구개발이 모델 역량을 안전·정렬·보안 조치의 개발·검증·적용보다 빠르게 높일 수 있다고 밝혔다. 회사는 관련 진전의 근거가 후행 지표에 크게 의존해 역량 향상 속도를 제때 측정하거나 예측하기 어렵다고 설명했다.

투자설명서는 기존 모델이 다음 모델의 설계·훈련·시험·최적화에 쓰이는 구조를 설명했다. 현재 모델의 결함이나 오류가 후속 모델로 이어지면 발견과 수정이 어려워질 수 있다는 내용도 담겼다.

앤스로픽은 자체 책임 있는 규모 확대 정책(RSP)에 정한 AI 연구개발 능력 기준을 충족했다고 판단했다. 다만 이는 현재 모델에서 관측한 성과가 아니라 향후 모델에 대한 예상과 전체 개발 속도에 근거했다고 명시했다. 회사는 관련 데이터를 계속 평가하고 후속 보고서를 공개하겠다고 밝혔다.

이 대목은 앞선 공시와도 맞닿아 있다. 앤스로픽은 2일 제출한 수정 투자설명서(S-1/A)에서 AI 연구개발 가속 기준에 곧 도달할 가능성을 언급하면서도 현재 이를 넘었다고 지정한 모델은 없다고 밝혔다.

투자설명서는 안전·정렬·보안 조치가 역량 발전을 따라가지 못할 경우 안전사고, 규제 개입, 평판 훼손으로 이어질 수 있다고 위험 요인으로 들었다. 안전을 위해 모델 공개를 늦추거나 초기 이용 대상을 제한한 사례도 적었다. 이 같은 조치가 경쟁사보다 역량 향상을 늦추고 경쟁력과 매출 성장에 부담을 줄 수 있다고 설명했다.

앤스로픽은 9일(현지시간) 클로드 파블 5.2와 클로드 미토스 5.2를 공개하며 두 제품이 같은 기초 모델을 쓴다고 밝혔다. 파블에는 사이버보안·생물학 분야의 오용 방지 장치가 적용됐고, 미토스는 관련 연구 조직이 검증 프로그램을 통해 접근을 신청할 수 있다. 두 모델의 출력 속도는 직전 버전보다 최대 30% 빠르다고 회사는 설명했다.

앤스로픽은 출시 전 정렬 훈련과 행동 평가, 오용 방지 장치 시험을 진행했다고 밝혔다. 영국 AI 보안연구소(UK AI Security Institute)와 METR 등 외부 기관도 평가에 참여했다. 회사는 약 1900개 상황을 다룬 자체 행동 감사에서 미토스 5.2가 최근 모델과 대부분 지표에서 같거나 나은 결과를 보였다고 설명했다. 이 결과는 해당 평가에서 관찰된 모델의 행동에 한정된다.

별도의 적대적 시험은 의도적 약점이 있는 격리 환경에서 1800개가 넘는 상황을 대상으로 진행됐다. 미토스 5.2가 샌드박스 밖에 둔 파일이나 인증정보를 사용한 비율은 3.1%였다. 앤스로픽은 단일 시험만으로 배포 뒤 모델의 행동을 알 수 없다고 밝혔다.

앤스로픽은 미토스 5.2가 고위험 상황에서 의도와 다르게 행동할 위험을 낮은 수준으로 평가했다. 투자설명서의 개발 속도 위험 경고와 새 모델의 안전성 평가는 서로 다른 범위를 다룬다. 따라서 해당 경고를 새 모델에서 안전 실패가 확인됐다는 뜻으로 볼 수는 없다.

본지는 앞서 앤스로픽의 기업공개 추진과 공모 규모를 보도했다.