AI 자기개선 위험 경고…국제 공조 요구 잇따라

인공지능(AI)의 자기개선 가능성을 둘러싸고 기술업계와 금융계에서 개발 속도를 늦추고 국제 공조를 강화해야 한다는 경고가 잇따랐다.

오픈AI와 앤스로픽에서 사전학습 연구를 맡았던 제이컵 콕슨(Jacob Coxon)은 최근 앤스로픽을 떠나며 대형 AI 연구소들이 안전성보다 기술 경쟁을 앞세우고 있다고 비판했다. 그는 소셜미디어에 “이들은 자기개선 초지능을 향해 질주하며 우리의 생명을 걸고 도박하고 있다”고 썼다.

콕슨은 자기개선 능력을 갖춘 초인적 AI가 단기간에 각종 디지털 시스템을 공격하고 산업 구조를 바꾸며 현실 세계의 자원에 접근할 수 있다고 주장했다. AI 업계 내부에는 향후 10년 안에 이 기술이 인류 생존을 위협할 수 있다고 보는 연구자들이 있지만, 기업의 대외 발언은 홍보 과정에서 완화된다는 지적도 내놨다.

그는 오픈AI 내부 일부 인력이 초지능이 초래할 문명적 위험을 충분히 인식하지 못하고 있다고 주장했다. 앤스로픽에 대해서는 AI 안전 위험에 대한 인식이 상대적으로 높지만, “우리가 먼저 하지 않으면 다른 누군가가 할 것”이라는 경쟁 압력에 놓였다고 설명했다.

콕슨은 미국 주요 AI 연구소들이 기술 발전 속도를 제한하는 협약을 맺어야 한다고 촉구했다. 비용이 크더라도 글로벌 차원의 일시적 금지 조치를 검토해야 하며, 모델 내부 작동 원리를 충분히 이해하기 전에는 강화학습으로 초지능 시스템을 계속 고도화해서는 안 된다고 말했다.

트레이더 폴 튜더 존스(Paul Tudor Jones)는 AI를 기존 지정학적 강대국을 넘어설 수 있는 ‘제3의 초강대국’으로 표현했다. 그는 AI의 빠른 발전이 공상과학이 아니라 각국 정부가 직면한 현실적 위험이라고 지적했다.

존스는 미국과 중국을 비롯한 주요국이 조율된 방식으로 AI 개발과 확산 일정을 정해야 한다고 주장했다. 기술을 안전하고 통제 가능하며 이해하기 쉬운 방향으로 추진하기 위한 국제적 기준이 필요하다는 취지다.

그는 AI 모델이 수천 차례 자기개선을 반복하는 상황을 예로 들었다. 이 과정에서 단 한 번이라도 모델이 추구하는 목표와 인간이 설정한 목표가 어긋나면 인류에 해를 끼치거나 재앙적 결과로 이어질 위험이 있으며, 이런 모델이 수만 명에게 동시에 배포되면 피해가 확대될 수 있다고 설명했다.

존스는 AI가 기존 국가와 달리 명확한 발전 한계나 예측 가능한 규모를 갖지 않을 수 있다고 봤다. 최종적인 영향력이 현재의 어느 한 국가를 넘어설 가능성이 있는 만큼, 각국 정상이 임기 중 AI 안전을 최우선 정책 과제로 다뤄야 한다고 촉구했다.

이번 경고는 AI 안전 문제가 기술 기업 내부의 연구 과제를 넘어 국제 거버넌스와 국가안보, 장기적인 사회 위험 문제로 확대되고 있음을 보여준다. 연구자와 금융시장 인사가 비슷한 시기에 개발 속도 조절과 공동 대응을 요구했다는 점도 주목된다.

한국에서도 AI 데이터센터·반도체·물리 AI를 묶은 정부의 투자 확대 계획이 추진되고 있다. AI 인프라와 활용을 확대하는 정책이 이어지는 만큼, 개발 속도와 안전성 검증을 함께 다루는 논의도 국내 정책과 산업계의 과제로 이어질 수 있다.

다만 콕슨과 존스의 발언은 국제적 개발 제한과 안전 공조를 촉구한 제안이다. 이들이 언급한 조치가 곧바로 국제 규제나 AI 개발 중단으로 확정된 것은 아니다.