[권성민 칼럼] AI가 인류를 멸망시킨다? 공포로 법을 만들어선 안 된다

요즘 전세계에서는 “인공지능(AI)이 인류를 멸망시킬 수 있다”는 경고가 쏟아지고 있다. AI 연구자와 빅테크 최고경영자들이 잇따라 위험을 말한다. 언론은 ‘AI 종말론’을 크게 다룬다. 정치권에서는 AI 개발을 늦추고 규제를 강화해야 한다는 목소리가 커지고 있다.

AI가 위험할 수 있다는 말은 틀리지 않는다. 문제는 위험을 알리는 수준을 넘어 공포를 키우고, 그 공포를 곧바로 규제의 근거로 삼는 데 있다.

국내외 주요 매스컴도 최근 미국 사회를 덮친 ‘AI 공포’를 잇달아 다루고 있다. 통제를 벗어난 AI가 문명을 파괴할 수 있다는 전직 연구원의 글이 수억 회 조회됐고, AI 안전 연구단체에는 기부금이 몰렸다고 한다. 정치권과 종교계, 기업과 가정에서도 AI가 인류를 끝낼 수 있다는 논쟁이 벌어지고 있다.

그러나 전문가들의 의견이 하나로 모인 것은 아니다. 현재 AI의 잦은 오류를 직접 보는 기업인들은 “인류를 멸망시킬 정도로 강력하다는 주장은 현실과 거리가 있다”고 말한다. 가능성과 현실을 구분해야 한다는 뜻이다.

다리오 아모데이 앤트로픽 최고경영자는 AI 개발 속도를 조절하고 업계 공동의 안전기준을 마련해야 한다고 주장한다. 샘 올트먼과 일론 머스크 등도 위험 경고에 힘을 보탰다. 반면 젠슨 황 엔비디아 최고경영자는 AI 안전을 공학적으로 해결할 수 있다고 본다. 그는 “속도와 안전은 함께 달성할 수 있다”며 새로운 규제가 반드시 필요한 것은 아니라고 했다.

누구 말이 맞는지는 아직 알 수 없다. 분명한 것은 AI 안전을 주장하는 쪽에도 이해관계가 있다는 점이다.

강한 규제는 자금과 인력이 풍부한 대기업에는 견딜 만한 비용이다. 작은 기업에는 생존을 가르는 장벽이 된다. 앤트로픽과 오픈AI가 추진하는 공동 안전기준에 대해 스타트업들은 “경쟁을 막는 규제 장벽”이라고 반발했다. 안전기준을 만드는 기업들이 이미 AI 시장을 이끌고 있다는 점도 논란을 키운다.

대형 AI 기업이 위험을 경고하고, 자신들이 감당할 수 있는 기준을 만들고, 정부가 이를 법으로 받아들이면 어떻게 될까. 후발 기업은 시장에 들어오기 어려워진다. 선두 기업은 안전이라는 명분 아래 지배력을 굳힐 수 있다. 규제가 소비자를 보호하는 울타리가 아니라 기존 기업을 보호하는 성벽이 되는 것이다.

이런 장면은 낯설지 않다. 기후위기 논쟁에서도 실제 위험과 종말론적 공포가 뒤섞였다. 기후 변화는 과학적으로 다뤄야 할 현실의 문제다. 그러나 “당장 모든 것을 바꾸지 않으면 인류가 끝난다”는 식의 주장은 정책의 비용과 효과를 따져 묻기 어렵게 만들었다. 누가 비용을 부담하고 누가 보조금의 혜택을 얻는지에 대한 토론도 밀려났다.

AI에서도 같은 일이 반복될 수 있다. “인류가 멸망할 수 있다”는 말 앞에서는 어떤 규제도 지나치다고 말하기 어렵다. 공포가 커질수록 법안은 빨리 통과된다. 규제기관의 권한은 커지고, 기준을 만드는 전문가와 대기업의 영향력도 강해진다.

그렇다고 AI 위험을 외면하자는 뜻은 아니다. AI가 스스로 판단하고 외부 시스템을 움직이는 ‘에이전트’ 단계로 발전하면 위험도 커진다. 기업 내부 자료를 빼내거나, 금융 거래를 잘못 실행하거나, 해킹을 자동화할 수 있다. 국내에서도 정부와 한국인터넷진흥원(KISA)이 자율형 AI의 권한 오남용에 대비한 보안 기준을 마련하고 있다. 이런 준비는 필요하다.

다만 규제의 대상은 막연한 ‘강력한 AI’가 아니라 구체적인 위험이어야 한다. AI가 어떤 정보에 접근하는지, 돈이나 장비를 직접 움직일 권한이 있는지, 사람의 승인 없이 어떤 행동까지 할 수 있는지를 따져야 한다. 문제가 생겼을 때 누가 멈추고 누가 책임지는지도 명확해야 한다.

한국 정부가 마련한 AI 윤리원칙에는 인간 중심성, 안전성, 책임성, 투명성이 담겼다. 옳은 방향이다. 이제 선언을 실제 기준으로 바꿔야 한다. 병원과 금융, 국방처럼 사고 피해가 큰 분야에는 강한 검증을 요구해야 한다. 단순한 문서 작성이나 정보 검색까지 같은 잣대를 적용해서는 안 된다.

AI 안전은 ‘규제할 것인가, 말 것인가’의 문제가 아니다. 위험의 크기에 따라 어느 정도로 규제할 것인가의 문제다. 독립적인 안전평가와 모의 공격, 접근 권한 제한, 사고 공개, 사람의 최종 중단권이 필요하다. 동시에 스타트업과 연구자가 감당할 수 있는 명확하고 예측 가능한 기준을 마련해야 한다.

한국은 AI 경쟁에서 뒤처질 여유가 없다. 그렇다고 안전을 무시할 수도 없다. 공포와 낙관 중 하나를 고르는 식으로는 답을 찾을 수 없다. 위험은 냉정하게 측정하고, 규제의 비용과 수혜자도 함께 따져야 한다.

AI 시대에 가장 두려운 것은 기계만이 아니다. 공포 때문에 질문을 멈추는 사회도 위험하다. “누가 이 공포를 말하는가. 어떤 근거가 있는가. 이 규제로 누가 이익을 얻는가.” 이 세 가지를 끝까지 물어야 한다.

공포는 사람을 움직인다. 그러나 공포가 좋은 법을 만드는 것은 아니다.