망명 AI 요약 203건 중 45건, 첫 전문가 점검 탈락

영국 내무부의 망명 인터뷰 요약 AI가 만든 표본 203건 가운데 45건이 배포 후 첫 전문가 점검을 통과하지 못했다. 이는 표본의 22%로, 전체 망명 심사나 최종 결정의 오류율을 뜻하지 않는다.

오픈라이츠그룹(Open Rights Group·ORG)은 10월 12일 공개한 조사에서 이같이 밝혔다. ORG는 영국 독립 이민·국경감찰관(ICIBI)에게 내무부가 사용하는 AI 도구 두 개의 점검을 요청했다.

내무부 도구는 망명 인터뷰 기록을 담당자용으로 압축하는 ‘망명 사례 요약(ACS)’과 국가별 정책 정보를 대화형으로 찾는 ‘망명 정책 검색(APS)’이다. ORG는 두 도구가 애저 AI 파운드리(Azure AI Foundry)를 통해 GPT-4o를 사용한다고 설명했다.

APS는 2025년 7월 모든 망명 심사 담당자에게 배포됐고, ACS는 2026년 4월 전체 망명 사건 담당자에게 배포됐다. 내무부의 ACS 시범평가에서는 요약의 9%가 부정확하거나 정보가 빠져 사용 대상에서 제외됐다.

배포 후 표본 점검에서는 203건 중 139건이 첫 검토를 통과했고, 19건은 추가 검토 대상으로 분류됐다. 나머지 45건은 첫 검토에서 탈락했다. 시범평가와 배포 후 점검은 시기와 방식이 달라 두 비율을 같은 조건의 성능 변화로 비교할 수는 없다.

감독 범위도 쟁점이다. ORG는 2026년 4월부터 7월까지 생성된 요약 가운데 내무부 분야 전문가가 확인한 비율을 0.3%로 추산했다. 요약에서 중요한 진술이 빠졌는지를 평가하는 항목은 있었지만, 누락 자체가 불합격 기준으로 명시되지는 않았다고 지적했다.

ORG 조사에 따르면 망명 신청자는 자기 사건에 AI가 사용됐는지 별도로 통지받지 못하고, AI가 만든 요약을 열람하거나 정정할 수도 없다. ORG가 의뢰한 법률 의견은 이런 방식이 신청자에게 부정확한 개인정보를 바로잡을 기회를 주지 않아 법적 의무에 어긋날 가능성을 제기했다. 이는 법원의 판단이 아닌 법률 검토 의견이다.

ORG는 두 도구의 사용 중단과 독립 감사를 요구하고 있다. 반면 영국 내무부는 2026년 6월 의회에 제출한 답변에서 AI가 망명 신청을 결정하지 않고 담당자의 판단을 돕는 자료 분석과 정보 제공에 쓰인다고 밝혔다.

내무부 대변인은 심사는 훈련받은 담당자가 맡고 도구의 성능을 정기적으로 점검하며 배포 평가를 공개하겠다고 말했다고 가디언은 전했다. 감찰관의 정식 조사 착수 여부는 발표되지 않았다.