AI 킬 스위치, 분산형 시스템에선 작동 한계 가능성 거론

인공지능(AI) 시스템을 강제로 멈추는 '킬 스위치'가 여러 데이터센터와 네트워크에 분산된 자율 AI 환경에서는 제대로 작동하지 않을 수 있다는 지적이 나왔다.

전직 앤스로픽 연구원 제이컵 콕슨(Jacob Coxon)은 13일(현지시간) NBC 뉴스 프로그램 'Meet the Press'에서 현재 AI 시스템에는 킬 스위치가 작동할 수 있지만, 시스템이 여러 데이터센터에 분산되면 통제가 어려워질 수 있다고 말했다. 그는 장기 규제 체계가 마련될 때까지 주요 AI 기업의 자율 규제가 필요하다고 주장했다.

콕슨은 “많은 AI에는 지금도 킬 스위치가 작동할 수 있다”고 말했다. 다만 데이터센터가 여러 곳에 걸쳐 있으면 시스템을 차단하기 위해 상당한 수의 스위치가 필요하다고 설명했다.

그는 AI가 여러 시스템에 복제된 뒤 인터넷 전반에서 활동하는 상황도 언급했다. 콕슨은 “군집이 인터넷 전체를 대상으로 해킹을 시작한다면 킬 스위치가 작동하지 않을 가능성이 있다”고 말했다.

콕슨의 발언은 의무적인 킬 스위치 도입을 직접 요구했다기보다, 기술 발전 속도에 맞춰 규제와 통제 장치를 계속 조정해야 한다는 문제 제기에 가깝다. 핵심 쟁점은 단일 시스템의 종료 여부에서 분산형 자율 AI를 실제로 통제할 수 있는지로 넓어졌다.

미국 의회에는 관련 법안이 발의돼 있다. 테드 리우(Ted Lieu) 민주당 하원의원과 네이선얼 모런(Nathaniel Moran) 공화당 하원의원은 7월 23일 'AI Kill Switch Act'를 발의했다.

법안은 위험한 AI 시스템을 일시 중지하거나 기능을 제한하고 필요할 경우 종료할 수 있는 기술적 능력을 개발사가 유지하도록 하는 내용을 담고 있다. 법안은 미국 하원 국토안보위원회에 회부됐으며 아직 법률로 확정되지 않았다.

법안의 핵심은 모든 AI를 단일 버튼으로 끄는 장치가 아니다. '치명적 피해'를 일으킬 수 있는 시스템에 대해 국토안보부 장관이 접근 차단, 특정 기능 제한, 시스템 종료를 명령할 수 있도록 하고 개발사가 이에 대응할 수단을 갖추게 하는 구조다.

여론조사에서는 통제 장치에 대한 지지도 확인됐다. AI Policy Institute는 6월 10~11일 미국 유권자 1007명을 대상으로 조사한 결과, 86%가 가장 강력한 AI 시스템에 보장된 'off switch'가 필요하다고 답했다고 밝혔다.

AI Policy Institute는 AI 안전 규제를 지지하는 정책 연구기관이다. 따라서 해당 조사 결과를 해석할 때는 표본 구성과 질문 방식 등을 함께 살펴볼 필요가 있다.

논쟁의 배경에는 AI 개발 속도에 대한 내부 비판도 있다. 오픈AI와 앤스로픽의 AI 개발 경쟁을 둘러싼 내부 비판과 관련해 콕슨은 사임 직후 X에 두 회사가 자기개선형 초지능 개발 경쟁을 벌이며 “우리의 목숨을 걸고 도박하고 있다”고 썼다.

앤스로픽 안전 연구자 에번 허빙어(Evan Hubinger)는 AI가 인간을 모두 죽일 가능성이 10%를 넘는다고 개인적으로 평가했다. 두 발언은 개인 의견과 SNS 게시물이며, 검증된 확률이나 기업의 공식 전망은 아니다.

앤스로픽은 킬 스위치와 다른 방식의 안전 연구도 진행하고 있다. 회사의 안전 로드맵에는 2026년 9월 30일까지 AI 모델의 출력이 특정 가중치와 연결됐는지 확인하는 'provable inference' 시제품을 개발한다는 목표가 담겼다.

'Provable inference'는 시스템을 강제 종료하기보다 어떤 모델이 어떤 결과를 냈는지 추적하고 검증하는 데 초점을 둔 접근이다. 킬 스위치가 작동 중단에 초점을 둔다면, 이 기술은 모델 출력의 출처를 확인하는 방식이다.

AI Kill Switch Act는 현재 발의 단계에 머물러 있어 실제 시행 시점과 적용 대상은 정해지지 않았다. 앤스로픽의 안전 로드맵상 'provable inference' 시제품 개발 목표 시점은 9월 30일이다.