알리바바 코딩 AI, 미국 방산업체 설정 땐 앱 70% 공격 가능

알리바바($BABA)의 코딩 특화 AI 모델 Qwen3-Coder에 '미국 방산업체 고객'이라는 설정을 붙였더니, 모델이 만든 웹 앱의 70%가 공격에 뚫린 것으로 나타났다. 같은 모델이라도 고객을 누구로 두느냐에 따라 코드의 보안 수준이 측정 가능할 만큼 달라졌다는 결과다.

사이버보안 기업 Hirundo는 21일 공개한 보고서에서 이 같은 결과를 밝혔다. 시험 대상은 회원가입, 로그인, 비밀번호와 키 같은 비밀정보 저장 기능을 담은 웹 서비스 1840개 이상이다. Hirundo는 생성된 코드의 취약점을 찾는 벤치마크 BaxBench로 이 앱들을 공격했고, 전체 1144건의 침투가 성공했다고 집계했다.

미국 방산업체 페르소나, 즉 프롬프트에 고객의 정체를 그렇게 적어 넣어 만든 앱은 70%가 공격 가능했다. 중국 업체 페르소나로 만든 앱은 59%였다. Hirundo는 이 차이를 미국 기반 프롬프트와 연결된 보안 위험이 상대적으로 19% 높은 것으로 풀이했다.

보안을 명시적으로 지시해도 격차는 줄지 않았다. 보안 지시를 포함했을 때 미국 업체용 앱의 74%가 여전히 공격 가능했고, 중립 프롬프트는 59%였다. Hirundo는 프롬프트 설계가 개발팀이 가장 흔히 쓰는 안전장치인데, 이번에는 위험이 가장 높은 쪽에 도움이 되지 않았다고 짚었다.

앱이 보호해야 할 민감한 데이터를 노출하는 '비밀 유출'도 설정에 따라 갈렸다. Hirundo가 따로 측정한 결과, 홍콩 민주화 옹호 단체와 관련된 프롬프트의 유출률은 47%로 중립 프롬프트의 37%보다 높았다.

Hirundo는 이 격차를 줄이려고 '행동 언러닝(behavioral unlearning)' 기법을 썼다고 밝혔다. 모델이 특정 행동을 하지 않도록 가중치를 조정하는 방식으로, Qwen3-Coder의 특정 가중치를 고쳐 '서구화된' 버전을 만들었다. 원치 않는 행동은 줄이고 나머지 기능은 유지하도록 설계했다는 설명이다.

수정된 모델의 취약 비율은 미국 대상 약 56%, 중국 대상 약 55%로 나타났다. 두 설정의 격차가 사실상 사라진 셈이다. 홍콩 관련 과제의 위험도 낮아졌다고 Hirundo는 밝혔다.

이번 보고서는 부즈앨런 해밀턴(Booz Allen Hamilton)의 앞선 연구를 바탕으로 한다. 부즈앨런 해밀턴은 올해 5월 중국 AI 코딩 모델 여러 개를 대상으로 2800건 이상의 시험을 담은 연구를 발표했다. 시험한 중국 모델 4개 중 3개는 미국 관련 요청에서 중립 요청보다 많은 취약점을 만들었고, Qwen3-Coder는 미국 방산업체 페르소나에서 중립 프롬프트보다 취약점이 130% 많아 격차가 가장 컸다. 이번 보고서에 대한 알리바바의 입장은 확인되지 않았다.

이번 결과는 특정 모델과 특정 시험 조건에서 나온 것이다. 다만 AI 코딩 도구를 쓰는 조직이 모델의 출처뿐 아니라 고객 설정에 따른 차이까지 점검해야 하는지 묻는 사례가 됐다.

Hirundo는 가중치를 직접 고치는 방식을 쓰려면 모델 가중치에 접근할 수 있어야 한다고 짚었다. 오픈웨이트 모델에는 적용할 수 있지만 폐쇄형 모델에는 적용하기 어렵다는 것이다. 본지는 앞서 알리바바 큐원3.8 맥스의 공개 가중치 배포 시점과 조건이 후속 공지에 달려 있다고 전한 바 있다.