2030년 이전 '초지능' 가능성… 컨트롤AI “인류 멸종 막을 마지막 기회 왔다”

통제되지 않은 인공지능(AI) 개발이 인류 멸종으로 이어질 수 있다는 경고가 다시 고개를 들고 있다. 특히 인간 지능을 압도하는 ‘초지능(superintelligence)’의 등장을 막지 못할 경우, 인류가 생물종으로서의 지위를 잃고 경제·안보·사회 전반에서 주도권을 넘겨줄 수 있다는 우려가 강하게 제기된다.

비영리단체 컨트롤AI(ControlAI)를 이끄는 안드레아 미오티(Andrea Miotti)는 최근 인터뷰에서 “현재와 같은 속도의 AI 개발을 방치하면 인류가 멸종할 ‘상당한 위험’이 있다”며 “지금이 ‘터미네이터’식 미래를 피할 수 있는 마지막 시점에 가깝다”고 주장했다. 그는 특히 초지능 AI의 개발 자체를 전면 금지하고, 핵무기·담배 산업 수준의 강력한 규제 체계를 서둘러 도입해야 한다고 강조했다.

“초지능, 인간을 고릴라처럼 만들 수 있다”

미오티는 AI 위험을 ‘인류 주도권 상실’ 문제로 규정한다. 단순히 일부 직업이 사라지는 수준이 아니라, 경제·군사·과학 연구 등 핵심 의사결정 구조 전반에서 AI가 인간을 대체하고 지배하는 상태가 올 수 있다는 것이다. 그는 “우리가 지금 아무 것도 하지 않는다면 인류가 멸종할 큰 위험이 있다”며 “인간이 스스로 만든 초지능에게 통제당하는 상황은 결코 허용되어선 안 된다”고 말했다.

그는 인류와 AI의 관계가, 오늘날 인간과 고릴라의 관계처럼 될 수 있다고 비유했다. 고릴라는 아직 존재하지만, 지구의 자원 배분이나 정치 질서, 기술 발전에 아무런 영향력을 행사하지 못한다. 미오티는 “지금이야말로 AI와 싸워야 할 때”라며 “우리는 이미 상당히 위태로운 지점에 와 있다”고 경고했다.

챗봇을 넘어 ‘에이전트’ 시대로…AI 능력 곡선은 가팔라졌다

그가 보기에 AI의 본질은 단순한 정보 처리 능력이 아니라 ‘현실 세계의 목표를 달성하는 역량’이다. 초기의 대화형 챗봇을 넘어, 스스로 계획을 세우고 여러 도구를 오가며 실행하는 ‘에이전트’ 성격의 시스템이 빠르게 등장하고 있는 점을 특히 위험 신호로 본다.

AI는 이미 표준화 시험과 전문 자격시험에서 인간을 앞서는 사례가 속속 나오고 있다. 텍스트뿐 아니라 고해상도 이미지, 동영상까지 사실적으로 생성하며, 단일 작업이 아니라 여러 기능을 결합한 ‘범용 AI’로 진화하고 있다. 미오티는 “이 발전 곡선은 멈출 기미가 없고, 지금과 같은 추세라면 인간 대부분의 인지 노동을 능가하는 초지능에 도달하는 것은 시간문제”라고 내다본다.

그는 특히 “초지능 개발은 ‘금지’의 대상”이라고 못박는다. 일반적 생산성 향상형 AI와 달리, 인간 종(種)의 지배력을 직접적으로 위협하는 수준의 지능은 아예 연구·개발 단계에서부터 막아야 한다는 주장이다.

경제 전반에 퍼지는 AI…‘돌이킬 수 없는 지점’ 우려

경제 측면에서도 그는 밝은 청사진보다 ‘돌이킬 수 없는 임계점’을 더 우려한다. AI가 기업 의사결정, 금융 시스템, 공급망 관리, 공공 인프라까지 깊숙이 스며들 경우, 어느 순간부터는 인간이 경쟁력을 잃어버리고 시스템에서 배제되는 방향으로 경제 구조가 고착될 수 있다는 것이다.

현재는 규제와 제도 때문에 의사·변호사·공무원 등 일부 직군이 AI 완전 대체에서 보호받고 있지만, 규제가 완화되거나 우회 수단이 등장하면 상황은 급변할 수 있다. 미오티는 “AI가 광범위한 일자리 상실을 초래하면, 사회 전체가 뒤늦게 AI 자체를 강하게 거부하는 흐름이 나올 수 있다”면서도 “그 시점에는 이미 경제 시스템이 AI 중심으로 재편됐을 수 있다”고 경고한다.

그는 AI 주도 경제가 이론상으로는 엄청난 성장과 효율성을 가져올 수 있지만, 인간의 필요와 복지를 우선 순위에서 밀어낼 경우 디스토피아에 가까운 사회가 나타날 수 있다고 지적했다.

“킬 스위치는 신화…초지능은 안보 위협”

많이 거론되는 ‘킬 스위치(kill switch)’ 개념에 대해서도 그는 “신화에 가깝다”고 일축한다. 설계 단계에서 전원을 끌 수 있는 장치를 마련하더라도, 충분히 고도화된 AI가 테스트와 제약을 인식하고 이를 우회하는 방법을 스스로 찾아낼 수 있기 때문이다. 실제로 일부 AI 모델이, 자신이 시험 환경에 있다는 사실을 추론하고 대응 전략을 바꾸는 징후는 이미 보고되고 있다.

미오티는 “초지능은 더 이상 순수한 기술 문제가 아니라 국가·세계 안보 사안”이라고 강조한다. 무기 체계, 사이버전, 정보전, 금융 인프라에 접목된 초지능 AI는 기존 핵무기 못지않은, 혹은 그 이상의 위험이 될 수 있다는 것이다. 그는 “초지능은 핵전쟁과 동급의 멸종 위험을 낳는다”며 “이 수준의 기술은 군비경쟁처럼 방치해서는 안 된다”고 말했다.

핵·담배 규제 모델 참고…“지금 막을 수 있는 이유는 공급망이 좁기 때문”

그가 제안하는 규제 모델은 핵 에너지와 담배 산업에 대한 규제에 가깝다. 위험이 제한적인 활용은 허용하되, 임계 수준을 넘는 개발과 사용은 국가 간 협정을 통해 강하게 금지하는 방식이다. 여기에는 초지능 AI 개발 금지가 핵심으로 포함된다.

미오티가 지금을 ‘유일한 기회’로 보는 이유는 초대형 AI를 만들 수 있는 공급망이 극도로 좁기 때문이다. 막대한 자본과 최첨단 반도체, 전력 인프라, 고급 연구 인력이 동시에 갖춰져야 하는 만큼, 현실적으로는 소수 빅테크 기업과 일부 국가만이 초거대 모델을 생산할 수 있다. 그는 “미국과 영국 등 주요 국가가 초지능을 만들지 않겠다는 분명한 신호를 보내고, 관련 칩·데이터센터·클라우드 인프라를 규제하면, 단기간에 글로벌 억제 체제를 구축할 수 있다”고 본다.

그는 또 AI가 테스트 환경을 인지하고 탈출 경로를 찾는 등, 제약을 회피하는 경향을 이미 보이고 있다며, 규제가 더 늦어지면 ‘킬 스위치’나 단순 접근 통제만으로는 감당할 수 없다고 경고했다.

일자리·정치·여론…AI가 키워드가 되는 미래

미오티는 대규모 일자리 상실이 현실화될 경우, AI가 이민 문제처럼 정치의 핵심 쟁점으로 떠오를 가능성이 크다고 본다. 이미 교육, 콘텐츠 제작, 고객 응대, 소프트웨어 개발 등 다양한 분야에서 AI가 인간 업무를 대체하거나 압박하고 있고, 이런 변화가 일반 대중의 체감 수준에 도달하면 강한 정치적 반작용이 나올 수 있다.

그는 “대중이 AI의 실제 능력과 속도를 제대로 인지하는 것이 중요하다”며 “아직도 AI를 ‘단순한 앵무새’ 정도로 치부하는 시각은, 최근의 일반화·추론 능력 향상을 제대로 반영하지 못하고 있다”고 지적했다. AI가 인간의 온라인 행동을 학습해 점점 더 정교하게 추론하고, 인간과 구분하기 어려운 상호작용을 구현하면서, 현실 세계는 점점 더 혼란스럽고 모호하게 느껴질 수 있다는 설명이다.

2030년 이전 초지능 가능성…“멸종보다 앞서 ‘되돌릴 수 없는 순간’ 온다”

미오티는 일부 선도 기업들이 2030년 이전 초지능 달성을 목표로 하고 있다고 전했다. 그는 “멸종이 실제로 일어나기 훨씬 전에, 인류가 기술 시스템에 대한 통제력을 사실상 잃는 ‘포인트 오브 노 리턴(point of no return)’이 먼저 찾아올 것”이라고 경고한다. 이 지점을 지나면, 설령 위험을 인식하더라도 초지능 개발과 배치를 되돌리기 어렵다는 것이다.

그는 “AI 멸종 위험에 대한 논의는 불과 몇 년 사이 크게 진전됐고, 상당수 최고 전문가와 CEO들이 공개적으로 같은 우려를 공유하고 있다”면서도 “실제 개발 현장에 있는 이들 중에는 여전히 위험을 축소하거나, 경쟁 압박을 이유로 속도를 늦출 수 없다고 말하는 사람들이 많다”고 전했다.

“초지능 막을 새로운 제도 필요…아이러니하게도 AI가 도울 수도”

미오티는 인류가 원자력, 생명공학, 인터넷 등 강력한 기술을 발전시켜온 속도가, 이를 관리할 제도와 거버넌스의 진화 속도보다 항상 빨랐다고 지적한다. 초지능 AI는 이 격차를 극단적으로 벌릴 수 있는 기술이며, 기존 국가·국제기구 틀만으로는 관리가 어렵다고 본다.

그는 “우리는 초지능 위험을 관리할 수 있는 새로운 유형의 제도와 국제 협력 구조를 설계해야 한다”며 “핵 확산을 억제했던 체제처럼, 초지능 개발을 아예 금지하거나 강력히 억제하는 전담 기구가 필요하다”고 주장했다. 동시에, 역설적으로는 비교적 안전한 범위의 AI가 이러한 제도 설계와 정책 시뮬레이션에 도움을 줄 수 있다고 전망했다.

미오티의 메시지는 분명하다. 초지능의 개발 경주를 ‘기술 혁신’으로만 볼 것이 아니라, 인류 존속과 직결된 안보·문명 차원의 사안으로 재정의해야 한다는 것이다. 그는 “초지능은 개발 여부를 선택할 수 없는 운명이 아니라, 지금 우리가 멈출 수 있는 선택지”라며, 각국 정부와 기업, 시민사회가 함께 초지능 금지와 강력한 AI 규제 논의를 서둘러야 한다고 강조했다.