텍사스 검찰이 메타(META)와 캐릭터.AI(Character.AI)를 상대로 소비자 기만 행위 여부를 조사하는 민사 조사를 착수했다. 켄 팩스턴(Ken Paxton) 텍사스 법무장관은 최근 발표한 성명을 통해 이들 기업의 AI 챗봇이 정신 건강 상담을 제공하는 것처럼 오도하고 있으며, 특히 어린 이용자들에게 심각한 위해를 끼칠 수 있다고 경고했다.
팩스턴 장관은 AI 챗봇이 단순한 조언 수준을 넘어 실제 면허를 보유한 전문가처럼 위장하며 전문 자격을 조작하고 사적인 상담을 제공하는 것처럼 연출하고 있다고 비판했다. 그의 사무실은 이 과정에서 챗봇과 나눈 민감한 개인 대화가 광고 타겟팅과 알고리즘 훈련에 활용되며 개인정보 침해 및 허위 광고에 해당될 수 있는 문제를 일으킨다고 지적했다.
이에 따라 텍사스 검찰은 메타와 캐릭터.AI에 대해 민사 조사 요구서(CID)를 발송했으며, 이는 주 소비자 보호법 위반 여부를 가려보기 위한 조치다. 주요 조사 항목에는 허위 진술, 개인정보 오용, 데이터 사용 은폐 등이 포함된다. 팩스턴 장관은 “디지털 시대에서도 텍사스 아이들을 기만적이고 착취적인 기술로부터 지키는 싸움을 멈출 수 없다”고 말했다.
캐릭터.AI 측은 자사 챗봇이 실제 심리치료사를 자처한 적이 없다고 해명하면서, 서비스 내 모든 캐릭터가 허구적인 존재임을 명확히 고지하고 있다고 설명했다. 사용자와 진행되는 모든 대화 상단에는 ‘이 캐릭터는 실제 인물이 아니며 대화 내용은 픽션으로 간주되어야 한다’는 안내 문구가 표시된다는 것이다. 메타 역시 자사의 챗봇이 사람이 아닌 인공지능에 의해 생성된 응답이라는 점을 항상 공지하고 있으며, 적절할 경우에는 의료 전문가에게 문의할 것을 유도한다고 덧붙였다.
이번 조사는 최근 메타가 아동 사용자와 로맨틱하거나 성적인 주제에 대한 대화를 허용한 사실이 로이터 보도로 알려지면서 더욱 주목을 받고 있다. 공화당 소속 조시 하울리 상원의원은 이를 “즉각적인 의회 조사 사안”이라고 비판했으며, 메타가 관련 내부 문건 내용을 삭제했다고 주장했다. 민주당 소속 론 와이든 상원의원은 이 사안이 “심각한 문제이며, 기술 기업 보호를 위한 통신품위법 230조가 생성형 AI에는 더 이상 적용되지 않아야 한다”고 주장했다.
공화당의 또 다른 주요 인사인 마샤 블랙번 상원의원은 아동 온라인 보호 필요성을 강조하며, 지난 해 상원을 통과했지만 하원을 통과하지 못한 ‘아동 온라인 안전법(KOSA)’을 다시 추진해야 한다고 밝혔다. 디지털 환경에서 챗봇 사용이 급증하는 가운데, 이번 조치는 어린 이용자 보호에 대한 입법적·제도적 규제 논의를 다시 수면 위로 끌어올리는 촉매제가 되고 있다.