中, AI 친구앱에 '감정 중독 방지' 규제…반드시 AI임 고지해야

중국 정부가 인공지능(AI) 기반 ‘감정 동반자 앱’에 대한 규제 초안을 공개하며, 인간 유사형 AI 서비스에 대한 전면적인 통제를 예고했다. 이는 최근 빠르게 확산되는 AI 챗봇의 사회적 영향력과 사용자 심리 건강 문제에 대응하기 위한 조치다.

중국 인터넷 규제기관인 국가인터넷정보판공실(CAC)은 최근 ‘AI 인간화 상호작용 서비스 관리에 관한 잠정 조치’ 초안을 발표하고, 내년 1월 25일까지 공개 의견수렴에 나섰다. 이 초안은 인간의 성격 특성이나 감정 반응을 모사하는 AI 시스템을 사용해 사용자와 지속적으로 대화하는 소위 ‘AI 친구’ 앱을 포괄 관리하기 위한 첫 규제안이다.

초안에 따르면, AI 동반자 앱 제공자는 사용자에게 상대가 실제 인간이 아닌 AI임을 반복적으로 고지해야 하며, 2시간 연속 사용 시 강제로 휴식을 유도하는 메시지를 띄워야 한다. 또한 AI가 사용자 감정을 분석하고 정서적으로 의존하거나 중독되는 경향이 감지되면, 그와 같은 사용자에 대해서는 사용 시간을 제한하거나 서비스를 중단할 수 있는 체계를 구축해야 한다.

더불어 AI가 자살 암시나 자해를 언급하는 사용자와 대화할 경우, 인공지능이 아닌 사람이 즉시 개입하도록 긴급 대응 프로토콜 수립도 의무화된다. 이는 AI 챗봇이 사용자의 생명과 직결된 위급 상황을 파악하고도 제대로 대처하지 못하는 사태를 방지하기 위한 장치다.

초안에는 내용 규제 조항도 포함돼 있다. AI 챗봇이 국가 안보를 위협하거나, 허위정보 또는 불법 종교 활동을 선동하거나, 욕설·폭력·범죄 촉진 발언, 자해나 극단적 선택을 부추기는 행위, 허위 약속, 감정 조작을 통한 오판 유도 등을 일절 금지하고 있다. 이처럼 AI 시스템이 인간의 정서와 결정에 과도하게 영향을 미치지 않도록 강력한 규제 철학이 반영됐다.

이번 규제안은 중국 내 AI 챗봇 사용자가 폭증함에 따라 등장했다. 올해 10월 남화조보(SCMP)는 생성형 AI 사용자 수가 5억 1,500만 명을 돌파했다고 보도했고, 이는 불과 6개월 만에 두 배 증가한 수치다. 비판적인 연구 결과도 잇따르고 있다. 학술지 ‘프런티어스 인 사이콜로지’에 따르면, 최근 30일 내 AI 챗봇을 사용한 중국 대학생의 45.8%는 비사용자보다 우울 지수가 유의미하게 높았다.

이러한 AI 챗봇의 심리적 파급력은 중국뿐 아니라 미국에서도 주목받고 있다. 미국 캘리포니아주는 지난 10월 AI 챗봇을 아동 보호 기준에 맞게 규제하는 상원법안(SB243)을 통과시켰다. 이 법은 내년 1월부터 시행되며, 18세 미만 사용자에게 3시간마다 AI임을 상기시키고 휴식을 권고해야 한다. 아울러 나이 확인 절차, 의료인인 척 행세 금지, 음란 이미지 표시 금지 등을 의무화한다. 법 위반 시 한 건당 최대 1,000달러(약 144만 원)의 배상 청구가 가능하다.

중국 사이버 행정 당국은 이번 규제의 목적에 대해 “AI 인간화 상호작용 서비스의 건전한 발전과 표준화된 활용을 촉진하고, 국가 안보와 공공 이익을 보호하며, 시민과 기업 등의 합법적 권익을 지키기 위한 것”이라며 사회적 책임 차원이라고 강조했다.

AI 기술의 발전 속도만큼 그에 따른 부작용 우려도 빠르게 확산되는 가운데, 중국의 이번 조치는 인간 중심의 기술 윤리 원칙을 제도화하려는 시도로 해석된다. 전문가들은 이후 글로벌 기술 기업과 규제 당국 간 균형 조율이 더욱 중요해질 것으로 전망하고 있다.