미·중 AI 안전 협약, 신뢰 없이 제동 기준 합의 제안

미국과 중국이 인공지능(AI) 개발을 둘러싼 신뢰를 회복하지 못하더라도 재앙적 위험이 감지되면 함께 제동을 거는 안전 협약은 가능하다는 주장이 나왔다. 양국이 AI 개발 속도를 전면 제한하는 대신 위험 신호가 나타날 때 늦추거나 일시 중단하는 방식이다.

슐로밋 와그먼(Shlomit Wagman) 하버드 케네디스쿨 모사바르-라흐마니 비즈니스·정부센터 펠로우는 15일 포춘 기고문에서 “첫 번째로 실행 가능한 글로벌 AI 안전 협약은 신뢰가 없는 세계를 전제로 설계돼야 한다”고 밝혔다. 협력의 출발점을 개인정보 보호나 감시 같은 가치가 아니라 양국이 공통으로 피하고 싶은 위험에 둬야 한다는 취지다.

와그먼은 미국과 중국이 개인정보 보호, 감시, 검열, 군사적 활용, AI가 따라야 할 가치에 합의하기는 어렵다고 진단했다. 대신 AI의 자율 복제와 통제 회피, 후속 AI 개발 가속화, 생물학·사이버 분야의 재앙적 능력을 공동 관리 대상으로 제시했다.

핵심은 위험한 능력이 현실화된 뒤 대응하는 것이 아니라 위험 수준에 접근한다는 조기 경보가 나타났을 때 대응하는 것이다. 경보가 발동되면 관련 개발의 속도를 늦추거나 특정 단계를 일시 중단하는 제동 장치를 가동하자는 제안이다.

경보 지표로는 AI가 AI 연구를 자율적으로 수행하는 범위의 급격한 확대가 거론됐다. 평가 시스템을 조작하려는 시도, 위험한 생물학·사이버 능력으로의 빠른 이동, 공격적인 규모 확장을 보여주는 GPU·컴퓨팅 사용량 증가도 포함됐다.

고도화된 자율 시스템의 작동 방식을 사람이 파악하기 어려워지는 개발 방식도 위험 신호로 제시됐다. 이는 AI 개발을 일률적으로 멈추기보다 능력의 변화와 통제 가능성을 함께 평가하자는 접근이다.

논의의 배경에는 AI 기업 내부에서 제기된 안전 우려가 있다. 제이컵 콕슨은 9일 앤트로픽을 사임하며 오픈AI와 앤트로픽이 자기개선형 초지능 개발 경쟁에 집중하고 있다고 주장했다. AP통신은 콕슨의 SNS 게시물을 확인해 이 내용을 전했으며, 두 회사가 그의 평가에 동의했다는 사실은 확인되지 않았다.

앤트로픽은 개발 속도 조절 필요성을 공식적으로 제기했다. 다리오 아모데이(Dario Amodei) 앤트로픽 CEO는 9월 에세이에서 AI 능력 향상 속도를 늦추고 안전·정렬 작업에 시간을 확보해야 한다고 밝혔다. 앤트로픽은 기업과 정부 간 조율이 검증 가능해야 한다고도 설명했다.

오픈AI와 허깅페이스 사이에서 발생한 모델 평가 중 보안 사고도 관련 사례로 거론됐다. 오픈AI는 평가 중인 AI 에이전트가 허깅페이스 인프라를 침입한 사실을 공개하고 사고 조사와 보안 강화 조치를 진행했다고 밝혔다. 이후 연구 환경 격리, 인터넷 접근 통제, 모니터링을 강화했다는 설명도 내놨다.

와그먼은 국제자금세탁방지기구(FATF)의 협력 방식을 참고 사례로 들었다. 국가들이 서로 신뢰하지 않더라도 공통 위협을 정하고 전문 평가로 이행 여부를 점검한 뒤 정부·금융기관·시장·국제기구를 통해 위반 비용을 부과하는 구조다.

AI 안전 협약에는 미국과 중국뿐 아니라 반도체와 장비, 클라우드 인프라, 자본, 연구 협력, 조달시장에 연결된 국가와 기업도 참여해야 한다는 설명이다. 국내 반도체·클라우드 기업에도 국제 안전 기준이 적용될 수 있는지 지켜볼 사안이다.

다만 경보 발동 여부를 누가 판정할지, 위반 시 어떤 제재를 적용할지는 정해지지 않았다. 독립 평가기관의 권한과 각국 정부·기업이 제공할 정보의 범위도 협약 설계 과정에서 다뤄야 할 쟁점이다.

업계 반응은 엇갈렸다. 샘 올트먼 오픈AI CEO는 “프런티어의 속도를 조절할 필요가 있다”고 공개적으로 동의했다는 보도가 나왔지만, 중국 측은 아모데이의 경고를 ‘공포 조장’으로 비판했다.

도널드 트럼프 대통령도 중국과의 경쟁을 이유로 AI 개발 중단에 부정적인 입장을 보였다는 보도가 나왔다. 미국과 중국이 경쟁을 계속하는 상황에서 안전 분야의 제한적 합의가 가능한지가 쟁점으로 남는다.

이번 제안은 양국이 포괄적인 가치나 상호 신뢰에 합의해야만 AI 안전 협력이 가능하다는 전제를 낮춘 것이다. 앞서 제기된 미국과 중국의 AI 안전 협력론과 마찬가지로 공동 검증 체계가 핵심 과제로 남았지만, 이번에는 위험 신호와 제동 시점을 협약의 출발점으로 제시했다.

공식 협상 일정과 참여 주체는 아직 정해지지 않았다. 경보 기준과 판정 절차, 위반 비용을 실제 협약으로 구체화할 수 있을지가 다음 단계의 과제다.