AI 멸망 가능성 10% 초과 주장…데이비드 색스 “공포 마케팅”

인공지능(AI)이 향후 10년 안에 인류를 멸망시킬 확률이 10%를 넘는다는 주장을 두고 논쟁이 이어지고 있다. 데이비드 색스와 올인 팟캐스트 패널들은 해당 수치가 객관적 근거보다 공포 마케팅에 가깝다고 반박했다.

올인 팟캐스트는 12일 공개한 유튜브 영상에서 AI 안전 논란과 규제 문제를 다뤘다. 데이비드 색스(David Sacks) 크래프트 벤처스 파트너는 “AI가 인류를 멸망시킬 확률이 10%라구요? 도대체 그 숫자는 어디서 나온 거죠?”라고 말했다.

논란은 앤트로픽 전 연구원 제이컵 콕신(Jacob Coxin)이 AI 개발 기업들이 인류 멸망 가능성을 인지하면서도 통제 불능의 AI를 향한 경쟁을 이어가고 있다고 주장하면서 시작됐다. 에반 휴빙거(Evan Hubinger) 앤트로픽 정렬 과학 리더는 콕신의 주장에 동조하며 향후 10년 안에 AI로 인류가 멸망할 확률이 10%를 넘는다고 밝혔다.

버니 샌더스 미국 상원의원 등 정치인들은 이 게시글을 인용하며 초지능 AI 개발 중단 입법을 추진하겠다고 나섰다. 다만 해당 10% 수치는 공식 통계가 아니라 연구자의 개인적 판단으로 제시됐다.

색스는 10%라는 수치가 객관적 연구 데이터나 내부 자료에 근거한 것이 아니라 단순한 ‘느낌’에 불과하다고 주장했다. 그는 관련 게시글이 올라온 직후 월스트리트저널(WSJ)에 사전 브리핑 형태로 보도되고, 이후 특정 단체들이 짧은 시간 안에 게시글을 확산시킨 점을 들어 조직적인 공작 같다고 말했다.

색스는 게시글 확산에 관여한 것으로 보이는 단체들이 앤트로픽 주요 투자자인 야안 탈린의 지원을 받는 효과적 이타주의 성향의 네트워크와 연결돼 있다고 주장했다. 다만 이는 팟캐스트 패널이 제기한 해석이다.

제이슨 칼라카니스(Jason Calacanis) 올인 팟캐스트 진행자는 현재 AI가 파이썬 코드 자동 완성이나 호텔 예약, 음식 주문 같은 작업도 완벽하게 처리하지 못한다고 말했다. 그는 현재 기술 수준과 인류 멸망 시나리오 사이에 큰 격차가 있다고 주장했다.

칼라카니스는 AI가 작업을 수행할 때 인간의 승인을 거치도록 하는 통제 장치를 소프트웨어에 넣을 수 있다고 설명했다. 그는 개발 과정에서 사용자가 스페이스바를 눌러야 다음 단계로 넘어가는 방식 등을 사례로 들었다.

데이비드 프리드버그(David Friedberg) 프로덕션 보드 대표는 핵심 시스템에 인터넷과 물리적으로 분리된 ‘에어 갭’과 인간 개입 절차가 활용되고 있다고 말했다. 에어 갭은 시스템을 외부 네트워크와 분리하는 보안 방식이며, 인간 개입은 AI의 작업 과정에 사람이 승인 절차로 참여하는 구조를 뜻한다.

패널들은 AI 안전 규제가 오픈소스 모델의 공개와 활용을 제한할 수 있다는 우려도 제기했다. 색스는 폐쇄형 AI 기업들이 규제 대응 여력이 부족한 오픈소스 AI의 공개와 호스팅을 막기 위해 연방 AI 규제기관 설립을 요구할 수 있다고 주장했다.

프리드버그는 오픈소스 AI가 개발 비용을 낮추고 기술 접근성을 넓히는 수단이라고 말했다. 그는 오픈소스 AI를 제한하면 정부와 대기업 중심의 통제 구조가 강화될 수 있다고 주장했다.

차마트 팔리하피티야(Chamath Palihapitiya) 소셜 캐피털 대표는 앤트로픽이 AI의 치명적 위험을 인정하면서도 기업공개(IPO)를 추진하는 행태를 과거 담배 회사의 사례에 비유했다. 그는 앤트로픽이 증권거래위원회(SEC)에 제출하는 증권신고서에 위험성을 명확히 공시하지 않으면 제품 책임과 관련한 법적 위험에 직면할 수 있다고 경고했다.

색스 역시 기업 임원이 자사 제품이 문명을 끝낼 수 있다고 주장하면서 공모 자금을 모집하는 것은 모순이라고 말했다. 팔리하피티야는 일부 연구자들이 집단적 착란 상태에 빠졌거나 오픈소스 AI 차단을 겨냥한 조직적 공작에 참여하고 있다고 분석했다.

본지는 앞서 AI 멸망론 확산 과정에서 인위적 조작 가능성이 제기됐다고 보도했다. 당시에도 색스와 캐시 우드는 관련 경고가 확산된 경로에 의문을 제기했지만, 해당 주장이 사실로 확정된 것은 아니라고 전했다.

이번 논쟁은 AI가 초래할 수 있는 위험의 확률을 어떻게 산정할지와 함께 오픈소스 모델의 공개 범위를 어디까지 허용할지를 둘러싼 논쟁으로 이어지고 있다. 10%라는 수치는 공식 통계가 아닌 연구자의 판단으로 제시된 가운데, 패널들은 기술 통제 장치와 규제의 부작용을 함께 검토해야 한다고 주장했다.