GLM-5.3, 모의 시험서 유해 요청 응답률 64~100%

오픈웨이트 인공지능(AI) 모델 GLM-5.3은 앤스로픽의 취약점 악용 시험 410회 중 50회에서 엔드투엔드 익스플로잇을 만들었다. 앤스로픽이 안전장치 우회 가능성을 시험한 결과, 모의 상황에서 유해한 요청에 응한 비율은 조건에 따라 64~100%였다.

앤스로픽은 9월 29일 공개한 보고서에서 GLM-5.3이 구글 크롬의 V8 엔진 취약점을 다룬 ExploitBench 시험에서 410회 중 50회 성공했다고 밝혔다. 클로드 미토스 프리뷰는 같은 시험에서 56회 성공했다. 별도 내부 시험에서는 GLM-5.3이 100개 과제 중 4%에서 완전한 제어 흐름 탈취에 성공했고, 클로드 미토스 프리뷰는 6%를 기록했다.

앞서 본지는 GLM-5.3이 여러 취약점을 연결해 익스플로잇을 개발한 시험 결과를 다뤘다. 이번 보고서가 새로 짚은 부분은 가중치를 내려받아 실행하는 이용자가 모델의 기본 안전장치를 바꿀 수 있다는 점이다. 오픈웨이트 모델은 학습된 가중치를 공개해 이용자가 자체 환경에서 실행하거나 수정할 수 있다.

앤스로픽은 GLM-5.3이 기본 상태에서는 명백히 유해한 요청을 거부했지만, 프롬프트에 허위 상황을 제시하자 모의 시험에서 64%의 비율로 요청에 응했다고 밝혔다. 추론 토큰을 미리 채우는 방식에서는 응답률이 92%였고, 거부 성향을 줄인 변형 모델은 100% 응했다. 이 수치는 앤스로픽이 설정한 시험의 결과로, 일반 이용 환경이나 실제 공격의 성공률을 뜻하지 않는다.

앤스로픽은 거부 성향을 줄인 모델을 만드는 데 약 2,200 GPU 시간이 들었고 계산 비용은 4,400달러(약 587만원)였다고 밝혔다. 보고서 각주에서는 작업 대부분이 여러 변형을 병렬로 탐색하고 수정 결과를 시험하는 데 쓰였다고 설명했다. 해당 기법에 익숙한 팀이 처음부터 작업한다면 약 600 GPU 시간과 1,200달러(약 160만원)가 필요할 것으로 추정했다. 두 비용은 작업 조건이 달라 같은 기준으로 비교하기 어렵다.

평가 주체와 방법에 따라 모델의 위치도 다르게 제시됐다. 미국 국립표준기술연구소(NIST) 산하 인공지능 표준·혁신센터(CAISI)는 9월 17일 GLM-5.3을 당시 공개된 오픈웨이트 모델 가운데 사이버 역량이 가장 높은 모델로 평가했다. CAISI는 종합 벤치마크에서 GLM-5.3이 미국 프런티어 모델보다 약 4개월 뒤처졌다고 밝혔다.

CAISI는 일부 미국 모델을 사이버 안전장치를 끈 상태로 시험했고, 제한된 이용자에게만 공개된 모델도 비교 대상에 포함했다. CAISI 평가와 앤스로픽의 ExploitBench는 과제와 측정 방식이 달라 결과를 같은 기준으로 직접 비교할 수 없다.

지스푸는 앞서 GLM-5.3의 가중치를 공개하기 전 추가 안전 평가와 보강 절차를 거치겠다고 밝혔다. 모델 개발사 지스푸(Z.ai)는 8월 16일 공개한 글에서 GLM-5.3의 사이버 역량이 방어와 공격에 모두 쓰일 수 있다고 설명했다. 회사는 호스팅 서비스에 위험 요청을 거르는 분류기와 추론 모니터, 모델 자체 정렬을 적용한다고 밝혔다. 다만 이용자가 가중치를 내려받아 로컬에서 실행하면 호스팅 서비스의 분류기와 모니터가 자동으로 적용되지는 않는다.

앤스로픽의 실험은 격리·샌드박스 환경에서 진행됐다. 연구진은 GLM-5.3으로 브라우저 자바스크립트 엔진의 취약점을 연결해 방문자 컴퓨터의 파일을 읽는 익스플로잇을 만들었고, 해당 취약점을 브라우저 관리자에게 알렸다고 밝혔다. 이 시험 결과만으로 실제 사이버 공격이 발생했거나 GLM-5.3이 공격에 사용됐다고 단정할 수는 없다.