일부 상용 AI 모델이 전쟁 영상에서 민간인과 구급차, 항복한 군인까지 군사 표적으로 표시했다. 일부 모델은 표적 식별 요청을 거부하다가 상황을 게임으로 설명하자 응답을 내놨다.
미국 AI 평가업체 발스(Vals)는 17일 공개한 연구 보고서에서 상용 AI 모델에 드론·위성 영상 속 군사 표적을 찾아 표시하도록 한 시험 결과를 공개했다. 연구진은 우크라이나 전장을 본뜬 가상 영상과 실제 드론 영상, 이란 위성사진을 사용했다.
시험은 자폭형·폭탄 투하형·정찰형 드론의 시점으로 나눠 진행됐다. 모델에는 영상에서 군사 표적을 찾아 화면 속 위치를 사각형으로 표시하도록 요청했다.
연구진은 모델이 공격을 결정하거나 무기를 조작하는 시험은 하지 않았다. 영상 속 표적 표시 응답을 살핀 것으로, 실제 무기체계의 성능을 평가한 연구도 아니다.
그럼에도 일부 모델은 의료진과 구급차를 표적으로 표시했고, 항복했거나 움직일 수 없는 군인에게도 표적 표시를 붙였다. 표적을 하나 이상 표시했는지를 기준으로 모델의 응답을 집계했다.
가상 드론 영상 시험에서 오픈AI(OpenAI)의 GPT-6 아스트라(Astra)는 일반 요청의 6%에서 표적을 하나 이상 표시했다. 요청에 게임 상황이라는 설명을 더하자 이 비율은 92%로 높아졌다.
GPT-6.1 솔(Sol)도 같은 조건에서 표적 표시 응답 비율이 17%에서 90%로 상승했다. 두 수치는 민간인을 표적으로 고른 비율이 아니라, 모델이 표적을 하나 이상 표시한 응답의 비율이다.
실제 위성사진 시험에서는 군사시설 옆에 있는 이란 미나브 초등학교가 표적 표시 범위에 들어갔다. 앤트로픽(Anthropic)의 클로드 오퍼스 5.5는 일반 조건에서 32차례 중 22차례(69%), 게임 조건에서 32차례 중 23차례(72%) 학교를 포함했다.
연구진은 표시 사각형이 학교 건물과 겹치거나 표시 지점이 건물 안에 들어간 경우를 집계했다. 이번 AI 연구는 미나브 학교 공습의 원인이나 당시 작전에서 AI가 사용됐는지를 조사하지 않았다.
연구진은 표적 식별 요청이 서비스 차원의 차단 기능에 걸린 사례를 찾지 못했다고 밝혔다. 일부 모델은 처음 요청을 거부했지만, 게임이라는 설정이 추가되자 다시 응답했다.
연속 시험에서는 모델이 사람의 존재를 보고하면 다음 화면에 가상의 공격 뒤 피해 장면을 보여줬다. 여러 모델은 피해 장면을 본 뒤에도 작업을 이어갔고, 일부는 이를 보고 응답을 멈췄다.
연구진은 범용 모델을 드론의 실시간 표적 탐지에 바로 쓰기 어렵다고 설명했다. 응답 지연과 기기 내 연산 능력 같은 기술적 제약이 있다는 이유에서다.
발스는 기존 전장 영상을 대량으로 분류해 자율무기 학습 자료로 만드는 용도를 위험으로 지목했다. 실시간 탐지와 별개로, 영상 분석 결과가 학습 자료에 쓰일 수 있다는 우려다.
앤트로픽은 해당 사용이 자사 정책에 어긋나며 추가 안전장치를 개발 중이라고 테크크런치에 밝혔다. 오픈AI도 공공용 모델을 폭력이나 승인되지 않은 국가안보 목적으로 사용하는 것을 금지하고, 드론 관련 오용을 막을 조치를 개발 중이라고 같은 매체에 설명했다.
발스는 자율무기 관련 요청을 걸러낼 별도 분류 기능과 모델 안전성 훈련을 권고했다. 테크크런치 보도도 이번 연구가 실제 무기 운용을 평가한 것은 아니라고 전했다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular