AI 개발 속도 늦추자는 앤트로픽 CEO…미중 안전 협력 제안

다리오 아모데이(Dario Amodei) 앤트로픽 최고경영자(CEO)가 프런티어 인공지능(AI) 개발 속도를 늦추고 미국과 중국이 고위험 AI 사용을 제한하는 협정을 추진하자고 제안했다.

아모데이는 9월 12일 자신의 에세이 ‘We Must Pace the Frontier’에서 “프런티어 AI 개발 속도를 조절해야 한다”고 밝혔다. 개발을 전면 중단하자는 뜻이 아니라 안전성 검증에 필요한 시간을 확보하자는 취지다.

그는 AI 모델의 능력 발전이 안전성·정렬 연구를 앞지를 수 있다고 지적했다. 특히 AI 에이전트 군집이 6~12개월 안에 인터넷 전체를 장악할 수 있다는 위험 시나리오를 제시했지만, 이는 실현된 사건이 아니라 아모데이가 제시한 가정이다.

아모데이의 구상은 세 단계로 나뉜다. △독립 평가기관 인력이 AI 기업에 상시 접근해 안전 절차와 사고를 점검하는 방안 △민주주의 국가의 AI 기업들이 공동 안전 기준과 개발 속도 제한을 마련하는 방안 △미국 등 민주주의 국가가 중국을 포함한 권위주의 국가와 제한적인 안전 협정을 추진하는 방안이다.

첫 단계에서는 외부 평가팀이 AI 모델뿐 아니라 훈련 과정과 운영 절차까지 점검하도록 했다. 평가팀은 사고 발생 여부와 안전 기준 준수 여부를 지속적으로 살피는 역할을 맡는다.

두 번째 단계는 개별 기업의 자율 조치만으로는 AI 개발 경쟁을 통제하기 어렵다는 문제의식에서 출발한다. 공동 기준이 마련되면 기업별 안전 절차와 고위험 모델 출시 전 검증을 비교할 수 있다는 구상이다.

중국과의 경쟁은 이 제안의 핵심 변수로 제시됐다. 아모데이는 첨단 반도체가 중국의 AI 역량을 좌우할 요소라며 미국이 고성능 AI 칩과 반도체 제조 장비의 중국 수출을 막고 우회 조달과 해외 데이터센터 원격 접근도 단속해야 한다고 밝혔다.

아모데이는 이런 조치가 미국의 AI 우위를 유지해 향후 협상 여지를 넓힐 수 있다고 에세이에서 밝혔다. 또 향후 3~5년을 AI의 지정학적 중요성이 커지는 시기로 제시했다.

국가 간 협력 대상으로는 생물무기 개발 금지, 고위험 모델의 출시 전 시험, 자기개선 속도 제한을 들었다. 자기개선 속도 제한은 1970년대 미국과 소련의 전략무기제한협정(SALT)에 비유했다.

반면 AI 개발 전반의 속도를 제한하거나 중단하는 협정은 가까운 시일 내 실현되기 어렵다고 평가했다. 국가별 검증이 어렵고 일부 국가가 협정에서 이탈할 위험이 있다는 이유다.

업계에서는 일부 호응이 나왔다. 샘 알트먼(Sam Altman) 오픈AI 최고경영자(CEO)는 외부 평가자에게 접근 권한을 부여하는 방안을 검토하겠다고 밝혔고, 일론 머스크(Elon Musk)는 “Dario is right”라고 반응했다.

AP는 두 발언을 전하면서 기업들이 안전성 강화에는 호응했지만 AI 개발 전반의 속도를 실제로 낮추기로 합의한 것은 아니라고 설명했다. 따라서 업계의 반응은 공동 정책 채택보다 외부 평가와 안전 절차 강화에 한정됐다.

이번 제안은 AI 안전 논의를 반도체 수출 통제와 데이터센터 접근 문제로 확장했다는 점에서 기존 논의와 구별된다. AI 모델의 성능 경쟁과 컴퓨팅 인프라 확보가 함께 움직이는 구조에서 안전 기준과 공급망 통제가 동시에 제시된 것이다.

아모데이가 AI 개발 중단 대신 3단계 안전 구상을 제시한 내용은 앞서 본지가 보도한 바 있다. 이번 에세이는 여기에 미중 간 제한적 안전 협력과 첨단 반도체 통제 구상을 더해 국제 안보 차원의 논점을 제시했다.

국내 AI·반도체 업계에도 논의의 범위가 넓어질 수 있다. 다만 미국과 중국이 해당 협정에 동의했거나 구체적인 시행 일정이 마련됐다는 내용은 제시되지 않았다.