AI 멸종론 충돌…거스트너, 규제 개입 위한 과장 주장

인공지능(AI)이 인류 멸종으로 이어질 수 있다는 경고를 두고 투자자와 AI 안전 연구자들이 충돌했다. 한쪽은 해당 경고가 규제 개입을 끌어내기 위한 과장이라고 비판했고, 다른 쪽은 AI 개발 경쟁이 인간의 안전을 뒤로 미루고 있다고 주장했다.

브래드 거스트너(Brad Gerstner) 알티미터캐피털 최고경영자는 11일 CNBC ‘Halftime Report’에서 AI 멸종론을 제기하는 연구자들에게 정치적 동기가 있을 수 있다고 말했다. 그는 사회관계망서비스(SNS)에 “6주간 앤트로픽에서 일한 전직 하급 직원의 터무니없는 과장이 규제 개입의 근거가 되느냐”는 취지의 글을 올렸다.

거스트너는 AI 위험에 대한 경고가 과학적 우려만으로 나온 것이 아니라 규제 강화를 유도하려는 목적을 가질 수 있다고 주장했다. 다만 이 주장은 거스트너 개인의 판단으로, AI 안전 연구자들의 동기 전체를 입증하는 자료는 아니다.

논쟁의 직접적인 계기는 제이컵 콕슨(Jacob Coxon) 전 앤트로픽·오픈AI 사전학습 연구자의 사임과 공개 경고였다. 콕슨의 사임과 자기개선형 초지능 경쟁 비판은 앞서 보도된 바 있다.

콕슨은 9일 공개 글에서 앤트로픽과 오픈AI가 ‘자기개선형 초지능’을 향해 경쟁하면서 인간의 생명을 걸고 있다고 주장했다. 그는 AI 개발자들이 향후 10년 안에 AI가 인류를 멸종시킬 수 있다고 진지하게 믿고 있다고 썼다.

에번 허빙거(Evan Hubinger) 앤트로픽 얼라인먼트 과학 책임자는 콕슨의 문제 제기에 동의했다. 그는 “향후 10년 안에 AI로 인류가 멸종할 가능성이 10% 이상”이라고 말했다.

허빙거가 제시한 10% 이상이라는 수치는 그의 개인적 판단이다. 앤트로픽 전체의 공식 전망이나 과학계의 확정된 확률로 볼 수는 없다.

얼라인먼트는 AI 시스템의 목표와 행동을 인간의 의도와 가치에 맞추는 연구 분야다. 자기개선형 초지능은 AI가 자신의 능력이나 시스템을 반복적으로 개선해 인간의 통제를 벗어날 수 있다는 가정과 연결된다.

앤트로픽은 9일 AI 시스템의 사이버보안 악용 사례를 분석한 연구를 공개했다. 앤트로픽은 약 4억8100만건의 기록을 검토해 네 건의 사이버보안 평가 사례를 분석했다고 밝혔다.

해당 연구는 AI 시스템의 사이버보안 악용 가능성을 다룬 사례를 분석했다. 연구 결과는 AI 시스템의 악용 가능성을 다룬 자료지만, 콕슨의 사임 주장에 대한 앤트로픽의 공식 반박은 담지 않았다.

이번 논쟁은 AI 위험 경고의 내용과 발언자의 이해관계를 분리해 봐야 한다는 쟁점을 드러냈다. AI 기업과 투자자가 규제 논의에 참여하는 만큼, 경고의 과학적 근거와 발언자가 가진 경제적 동기를 함께 검토해야 한다는 주장이다.

반대로 이해관계가 있을 가능성만으로 경고 자체를 거짓으로 단정할 수는 없다는 반론도 나온다. 경고의 신뢰성을 판단하려면 발언자의 소속이나 투자 관계보다 연구 방법과 근거를 따져야 한다는 의미다.

AI 멸종 위험을 국제 의제로 다뤄야 한다는 주장은 이번에 처음 나온 것이 아니다. AI 안전센터는 2023년 오픈AI와 앤트로픽 최고경영자를 포함한 연구자·업계 인사들이 AI로 인한 멸종 위험 완화를 감염병과 핵전쟁에 준하는 세계적 우선순위로 삼아야 한다는 공동 성명에 서명했다고 밝혔다.

이 공동 성명은 AI의 장기적 위험을 공중보건·안보 의제와 연결한 사례다. 그러나 성명 참여나 위험 경고만으로 특정 확률이나 규제 방안을 확정할 수는 없다.

결국 현재 확인된 사실은 투자자와 연구자가 AI 개발 속도와 규제 필요성을 놓고 서로 다른 판단을 내놓았다는 점이다. AI가 인류를 멸종시킬 객관적 확률이나 해당 경고가 규제 논의를 위한 정치적 행위였다는 점은 확정되지 않았다.