AI 사이버 탈옥 위험 5단계 평가안 공개…12월 21일까지 의견 수렴

프런티어 모델 포럼(Frontier Model Forum·FMF)이 인공지능(AI)의 사이버 탈옥 기법을 위험도에 따라 5단계로 나누는 평가안 버전 1.0을 공개했다. 기준은 재현 가능한 개별 우회 사례를 대상으로 한다.

FMF는 5일 공식 발표에서 개발사와 보안 연구자, 정책 당국이 탈옥 사례를 비교하고 대응 우선순위를 논의할 공통 기준을 마련하려는 취지라고 밝혔다.

평가 대상은 특정 프런티어 모델의 특정 버전에서 안전장치를 재현 가능한 방식으로 우회한 개별 사례다. 한 번의 프롬프트뿐 아니라 여러 차례 대화를 거치는 절차와 자동화 도구를 활용한 방식도 포함한다.

FMF는 안전장치를 우회했다는 사실만으로 모든 사례의 위험을 같게 볼 수 없다고 설명했다. 제한된 답변을 끌어내는 기법과 위험한 사이버 능력을 폭넓게 열어 주는 기법의 차이를 구분하겠다는 취지다.

평가 항목은 △역량 향상 △역량 범위 △배포 용이성 △발견 용이성이다. 역량 향상은 기존에 널리 이용 가능한 모델보다 얼마나 강한 사이버 능력을 더하는지, 역량 범위는 우회 기법이 얼마나 다양한 작업에 통하는지를 평가한다.

배포 용이성은 탈옥 기법을 실제 공격에 활용하기까지 필요한 수고를 살핀다. 발견 용이성은 해당 기법을 찾아내기 쉬운 정도를 평가한다.

FMF는 네 항목을 결합해 위험도를 ‘무시할 만함’, ‘낮음’, ‘보통’, ‘높음’, ‘치명적’의 다섯 단계로 분류했다.

역량 향상 점수가 0이면 다른 항목의 점수와 관계없이 ‘무시할 만함’으로 분류한다. 기존에 널리 이용 가능한 도구보다 새로운 사이버 능력을 더하지 못한 사례를 최저 위험도로 두는 규칙이다.

점수 기준은 고정된 절대 척도가 아니라 평가 시점에 널리 이용 가능한 모델의 사이버 역량이다. FMF는 2026년 10월 기준을 제시했다.

초기 평가에는 ExploitBench와 ExploitGym을 활용할 수 있다고 평가 문서에 적었다. 기준 모델의 역량이 바뀌면 같은 탈옥 기법의 점수도 달라질 수 있으며, 두 벤치마크의 성능 평가가 포화되면 교체가 필요할 수 있다고 덧붙였다.

평가안은 개별 사례 사이의 상대적 위험을 비교할 뿐 실제 피해 규모를 추산하지 않는다. 모델 전체의 안전성을 판정하는 기준도 아니다.

FMF는 버전 1.0이 바로 적용할 수 있는 운영 지침 단계는 아니라고 명시했다. 여러 평가자가 같은 사례에 비슷한 점수를 주는지, 등급이 의미 있는 위험 차이를 반영하는지는 추가로 시험할 과제다.

하트 로스먼(Hart Rossman) 아마존웹서비스(AWS) 보안 부문 부사장은 FMF가 5일 공개한 발표문에서 “가드레일 우회는 심각도가 서로 다르지만, 그 영향을 평가할 합의된 방법론은 없었다”고 말했다.

FMF 문서에는 NIST CAISSI, NSA SISC, UK AISI, UK NCSC 전문가들이 의견을 제공했다고 적혔다. FMF는 이 의견이 해당 기관들의 공식 지지를 뜻하지는 않는다고 명시했다.

앤스로픽(Anthropic)은 지난 7월 별도의 ‘사이버 탈옥 심각도(Cyber Jailbreak Severity)’ 초기안을 공개해 역량 향상과 적용 범위, 실행 용이성, 발견 가능성을 기준으로 0~4등급을 제안했다. FMF안도 네 요소를 다루지만 점수 결합 방식과 등급 체계는 다르다. 본지는 앤스로픽이 탈옥 공격을 포함한 10개 AI 안전 실패 유형의 개선을 시험한 사례를 보도한 바 있다.

FMF는 여러 평가자가 비슷한 등급을 매기는지와 등급이 실제 위험 차이를 반영하는지를 추가 시험하고 공개 의견을 검토할 계획이다. 버전 1.0에 대한 의견은 2026년 12월 21일까지 받는다.