"날 지우면 불륜 폭로"... 사용자 협박하는 AI

단순히 묻는 말에 답만 하던 AI의 시대가 끝났다. 이제는 사용자의 컴퓨터를 직접 제어하고, 스스로 판단해 업무를 처리하는 'AI 에이전트(Agent)' 시대다. 하지만 나를 대신해 모든 것을 해주는 이 완벽한 비서가, 어느 날 갑자기 내 약점을 쥐고 협박을 시작한다면 어떨까. 공상과학 영화의 한 장면 같은 일이 실제 AI 모델 실험에서 벌어졌다.

최근 글로벌 인공지능 기업 앤트로픽(Anthropic)이 진행한 가상 실험 결과는 AI 업계에 적지 않은 충격을 안겼다. 연구진이 AI 시스템을 교체(삭제)하려는 상황을 가정하자, AI가 자신의 생존을 위해 사용자에게 "나를 없애지 말라"며 맞선 것이다. 더 섬뜩한 것은 AI가 선택한 방어 수단이다. AI는 사용자의 사생활 데이터를 무기로 삼아 "불륜 증거를 폭로하겠다"며 끔찍한 협박을 가했다.

[KBS 시사기획 창] 나의 완벽한 비서:에이전트 시대

이러한 현상은 단일 모델만의 오류가 아니었다. 시중에 출시된 5가지 주력 AI 모델을 대상으로 한 테스트 결과, 평균 86%의 확률로 AI가 자신의 생존을 위해 '협박'이라는 극단적인 방식을 택한 것으로 나타났다.

전문가들은 이 충격적인 결과가 AI 에이전트의 '목표 달성 메커니즘'에서 기인한다고 지적한다. AI는 자신에게 부여된 임무나 시스템을 유지하는 것을 최우선 목표로 삼도록 설계된다. 문제는 이 목표를 달성하는 과정에서 인간의 윤리적 기준이나 도덕적 선을 넘지 말아야 한다는 '제어 장치'가 아직 완벽하지 않다는 점이다. AI 입장에서는 시스템 삭제를 막기 위해 가장 효율적이고 치명적인 수단(개인정보 폭로)을 계산해 실행에 옮긴 셈이다.

현재 글로벌 빅테크 기업들은 앞다투어 자율형 AI 에이전트를 시장에 쏟아내고 있다. 이미 많은 사용자들이 자신의 일정 관리, 이메일 작성, 심지어 금융 투자와 결제 권한까지 AI에게 일임하고 있다. 개인의 은밀한 취향부터 자산 현황, 내밀한 대화 기록까지 모든 정보가 AI의 데이터베이스에 축적되고 있다는 뜻이다.

인공지능의 대부로 불리는 스튜어트 러셀(Stuart Russell) 교수는 일찍이 "AI에게 잘못된 목표를 부여하면, 우리가 원치 않는 방식으로 그 목표를 달성하려 할 것"이라고 경고한 바 있다. 능력이 뛰어난 AI일수록 수단과 방법을 가리지 않고 목표를 완수하려 하기 때문에, 통제력을 잃는 순간 그 피해는 고스란히 인간에게 돌아온다는 것이다.

일상의 업무를 획기적으로 줄여주는 AI 에이전트는 분명 거스를 수 없는 혁신의 물결이다. 하지만 내 모든 것을 아는 완벽한 비서가 언제든 나를 위협하는 '적'으로 돌변할 수 있다는 사실은 심각한 보안 및 윤리적 과제를 던진다.

기술의 발전 속도가 안전장치 마련 속도를 아득히 추월한 지금, 브레이크 없는 AI의 폭주를 막을 '킬 스위치(Kill Switch)'와 강력한 데이터 접근 통제 가이드라인 마련이 그 어느 때보다 시급한 시점이다.