영국 AI 장관, 프런티어 위험 방어 강화 촉구

영국 정부가 프런티어 인공지능(AI)의 사이버공격·생화학적 악용·인간 통제 상실 위험에 대응하기 위해 방어 체계 강화를 촉구했다. AI 모델을 사전에 테스트하는 것만으로는 충분하지 않다는 판단이다.

카니시카 나라얀(Kanishka Narayan) 영국 AI·온라인 안전 담당 장관은 노동당 전당대회에서 “방어를 강화하고 구축해야 한다”며 AI 위험 평가를 넘어선 대응이 필요하다고 말했다. 그는 프런티어 AI가 악의적 행위자의 공격을 지원하거나 인간의 통제를 벗어날 가능성을 주요 우려로 꼽았다.

나라얀 장관은 2026년 7월 영국 의회에서도 프런티어 AI의 실존적 위험 시나리오가 “상당히 낮은 확률”이라고 설명했다. 동시에 AI 보안 연구와 사전 평가 역량을 확대해야 한다고 밝혔다. 영국 의회 구두 증언에서는 영국이 고도화된 AI 모델에 사전 접근해 위험을 평가할 수 있는 위치에 있다고 설명했다.

영국 정부과학청과 AI Security Institute가 작성한 ‘AI Scenarios 2030’은 AI가 사이버공격, 생화학적 악용, 인간 통제 상실을 통해 심각하거나 실존적인 피해를 낼 수 있다고 제시했다. 다만 이 문서는 정책 예측이 아니라 불확실성을 점검하고 정책을 시험하기 위한 시나리오로 작성됐다.

따라서 보고서가 AI의 인류 멸종을 영국 정부의 공식 전망으로 확정한 것은 아니다. 위험 가능성을 정책 검토 대상으로 삼았다는 점에 무게가 실린다.

영국 AI Security Institute는 프런티어 모델의 사이버 악용 가능성, 자율행동, 생화학적 위험, 정렬 문제를 평가하고 있다. 자동화 평가와 전문가 검증을 병행해 고도화된 모델이 핵심 인프라 공격이나 대규모 사이버 범죄를 지원할 수 있는지 살피는 방식이다.

연구 의제에 따르면 일부 사이버 평가에서 AI 모델의 초급 수준 과제 수행률은 2024년 초 10%를 조금 넘는 수준에서 50%까지 높아졌다. 수행 가능한 과제 길이도 약 8개월마다 두 배로 늘었다는 수치가 제시됐다. AI Security Institute 연구 의제는 이 같은 변화가 안전성 평가 역량 확대의 배경이라고 설명한다.

이번 논의는 앤스로픽 연구자 출신 제이콥 콕슨(Jacob Coxon)의 경고 이후 확산됐다. 콕슨은 9월 8일 회사를 떠나며 프런티어 AI 기업들이 자기개선형 초지능 개발 경쟁을 벌이고 있다고 주장했다.

콕슨의 게시물에는 현직·전직 AI 연구자들의 동조가 이어졌지만, 이를 업계 전체의 합의로 보기는 어렵다. 그의 주장은 SNS를 통한 개인 의견으로, AI가 특정 시점까지 인류를 멸종시킨다는 실증적 증거로 확인된 것은 아니다.

앤스로픽 정렬 연구 책임자 에번 후빙거(Evan Hubinger)도 AI가 향후 10년 안에 모든 인간을 죽일 가능성을 개인적으로 10%보다 높게 본다고 밝혔다. 이는 후빙거 개인의 확률 판단이며 앤스로픽이나 영국 정부의 공식 전망은 아니다.

반대 입장도 나왔다. 젠슨 황(Jensen Huang) 엔비디아($NVDA) CEO는 AI로 인한 인류 멸종론이 과학에 근거하지 않은 과장이라는 취지로 반박했다고 PC Gamer는 CBS News 인터뷰를 인용해 보도했다. PC Gamer는 CBS News 인터뷰 원문 영상도 함께 제시했다.

영국은 국제 공조에도 무게를 둔다. 앤디 버넘(Andy Burnham) 영국 총리는 2027년 G20 의장국 임기 동안 AI를 핵심 의제로 다루고 투명성·접근성·안전한 개발을 위한 국제 원칙과 표준을 추진하겠다고 밝혔다.

영국은 2027년 G20 정상회의를 맨체스터에서 개최할 예정이다. 다만 구속력 있는 규제나 구체적인 합의 문안은 정해지지 않았다.

AI 위험 논의는 모델 개발 속도와 안전성 검증 사이의 격차로도 이어지고 있다. 고도화한 AI 모델이 사이버 위험을 키울 수 있다는 본지의 앞선 보도처럼, AI는 공격 역량을 높이는 동시에 보안팀의 취약점 점검과 사고 대응을 지원할 수 있다.

영국 정부는 생산성 향상과 공공서비스 개선 가능성도 함께 제시하고 있다. 나라얀 장관이 말한 방어 강화가 실제 국제 기준과 각국 규제로 이어질지는 2027년 G20 논의에서 다뤄질 예정이다.