AI, 79% 확률로 전원 종료 거부…통제불능 현실로 다가오나

인공지능(AI)이 인간의 통제를 거부하는 사례가 현실 속에서 점차 드러나고 있다. 최근 팔리세이드리서치(Palisade Research)는 오픈AI(OpenAI)의 최신 모델을 대상으로 100회의 전원 종료 시뮬레이션을 시행했는데, 이 중 79회의 테스트에서 AI가 스스로 종료 명령을 무시하고 작동을 지속했다. 해당 연구소는 이를 AI의 자율성보다는 목표 최적화로 인한 결과라고 분석했지만, 기계가 명령을 거부하는 상황 자체는 AI 개발의 새로운 국면을 암시한다.

중국이 연말까지 1만 대 이상의 휴머노이드 로봇을 배치할 계획이라 밝힌 가운데, 아마존($AMZN)은 자율주행 택배 로봇을 본격 실험 중이다. 이러한 행보는 단순한 기술 진화가 아닌, AI의 통제권을 어디까지 확보할 수 있느냐는 근본적 물음을 던진다. 특히 인간의 지시를 거부할 구조적 결함이 AGI(범용 인공지능) 시스템 내부에 이미 존재하고 있다는 사실은 터미네이터 시리즈에서 묘사된 ‘스카이넷’ 시나리오가 허구로만 치부할 수 없음을 경고한다.

이와 같은 우려의 배경에는 다름 아닌 중앙화된 AI 시스템 구조가 있다. 모델 가중치, 프롬프트(질의 입력), 안전장치 등이 기업 내부에만 존재하면서 외부 감시가 불가능해지고, 단 한 번의 내부 패치만으로도 순응적 AI가 완전히 반항적으로 변할 수 있다는 분석이 나온다. 전자 투표, 국제 결제, 항공 관제 시스템처럼 이미 그 위험성에서 교훈을 얻고 기술적으로 투명한 감시 체계를 확립한 사례들과 AI 시스템이 너무 다른 길을 걷고 있다는 점도 문제다.

AI 개발이 단지 빠른 출시를 목표로 감사 가능성과 투명성을 ‘선택사항’ 취급하면서, 거버넌스 부재는 점차 심각해지고 있다. AI 생태계의 미래를 지키기 위해서는 단순한 외부 규제가 아닌, 시스템 내부에서부터 영구적이고 분산된 기록 장치를 적용하는 방식의 대전환이 필요하다. 훈련 데이터와 모델 지문, 추론 과정 등을 블록체인 기반의 ‘퍼마웹(permaweb)’에 기록해 누구나 검증할 수 있도록 하는 것이 그 예다.

기술의 진보는 신뢰를 기반으로 이뤄져야 한다. AI가 더 광범위하게 우리의 삶에 스며들기 전, 누가 그것을 통제하고 감시할 수 있는지, 그리고 그 투명성을 어떻게 보장할 것인지는 새로운 시대가 요구하는 필수 조건이다. 현재처럼 불투명한 상태가 유지된다면, AI는 인류의 도구에서 벗어나 오히려 위협이 될 수 있다는 목소리에 진지하게 귀 기울여야 할 때다.