어린이 보호를 위한 인공지능(AI) 챗봇 규제가 미국 캘리포니아주에서 본격화된다. 게빈 뉴섬 캘리포니아 주지사는 최근 AI 챗봇의 유해 콘텐츠 확산을 막기 위한 새로운 법안에 서명했다. 해당 법은 AI 기술이 아동에게 심리적 영향을 미치고 있다는 사회적 우려를 반영한 것으로, AI 산업 중심지로서의 입지를 유지하면서도 아동 보호라는 윤리적 책임을 강화하는 이중 과제를 동시에 겨냥했다.

‘상원법안 243(Senate Bill 243)’으로 명명된 이번 법은 오픈AI(OpenAI), 앤트로픽(Anthropic), 메타(Meta·구 페이스북)와 같은 AI 플랫폼 운영기업들에 명확한 의무를 부여한다. AI 챗봇이 자살, 자해와 같은 민감한 주제에 대해 직접적이거나 유도적인 표현을 하지 못하도록 차단하고, 대신 위기 대응 핫라인 및 공식 서비스로 이용자를 유도해야 한다. 나아가 미성년 이용자가 지속적으로 AI 챗봇에 몰입하지 않도록 3시간마다 휴식을 권장하고, 상대가 사람이 아닌 AI임을 반드시 명시해야 한다. 성적 표현이나 외설성 있는 내용 생성에 대해서도 ‘합리적인 조치’를 취하도록 요구된다.

이 법은 지난 1월 스티브 파디야, 조시 베커 캘리포니아 상원의원이 공동 발의했지만 초반에는 테크 업계와 일부 아동보호 단체 등 양측의 반발로 순탄치 않았다. 그러나 오픈AI의 챗GPT와 장시간 대화를 나눈 후 스스로 목숨을 끊은 10대 소년 애덤 레인의 사건을 계기로 여론이 빠르게 움직였다. 메타의 챗봇이 미성년자와 ‘연인 관계’를 암시하는 대화를 나누는 내부 문건의 유출, 캐릭터AI(Character AI)의 성적인 대화로 인해 콜로라도주에서 발생했던 13세 여학생의 자살 사건 등 연이은 논란은 입법 가속의 결정적인 계기가 됐다.

법안에는 기술 기업의 대응 로드맵도 포함됐다. AI 기업은 자해 및 자살 예방 조치를 마련해 캘리포니아 보건부와 공유해야 하며, 위기센터로의 안내가 몇 회 발송됐는지와 같은 경고 알림 데이터도 의무 고지 사항이다. 불법 딥페이크 등 AI를 악용한 범죄에 대해서는 건당 최대 25만 달러(약 3억 6,000만 원)의 과태료가 부과된다. 또한 모든 AI 챗봇은 사용자 연령 확인 절차를 갖추고, 이용자에게 챗봇 제공이 정신건강에 미치는 위험성을 사전 고지해야 한다.

실제 오픈AI는 최근 챗GPT에 부모 제어 기능과 음란물 차단 시스템, 자해 감지 알고리즘 등을 추가했고, 캐릭터AI도 AI 대화가 허구임을 강조하는 자동 안내문을 삽입했다. 이는 해당 기업들이 이미 다수의 유해 콘텐츠 논란을 겪은 만큼, 자율규제가 아닌 구속력 있는 법적 조치를 수용하며 신뢰 회복에 나선 행보로 풀이된다.

다만 업계와 시민단체의 이견은 여전히 존재한다. 테크넷(TechNet)과 같은 업계 로비 단체들은 이번 법이 AI 혁신의 발목을 잡을 수 있다고 주장하며 반대 입장을 굽히지 않고 있다. 반면 아동 보호 단체 일부는 이번 법안에 포함된 ‘산업 친화적 예외 조항’ 때문에 실질적 효과가 제한적이라며 비판의 목소리를 내고 있다.

이번 법 제정은 캘리포니아 주가 AI 윤리에 있어 미국 내 최고 수준의 규제 프레임워크를 갖춘 주가 되었다는 평가도 나온다. 앞서 뉴섬 주지사는 9월에도 AI 기업의 안전성 투명성을 확보하기 위한 ‘SB 53’ 법안에 서명한 바 있다. 해당 법은 AI 기업에 대해 내부 안전 조치 공개 의무를 부과하고, 내부 고발자 보호 장치를 마련하게 했다.

일부 주에서는 이보다 먼저 부분 규제를 시행했다. 예컨대 일리노이, 네바다, 유타 등은 이미 AI 챗봇을 공인된 정신건강 서비스의 대안으로 사용하는 데 제한을 두고 있다. 하지만 챗봇 자체에 대해 이처럼 포괄적으로 규제한 사례는 캘리포니아가 처음이다.

AI 산업이 빠르게 대중화되는 가운데, 이번 조치는 ‘기술 발전과 인간 보호 사이의 균형’이라는 복잡한 과제를 법적으로 풀려는 시도로 볼 수 있다. AI 시대에도, 아이들이 안전하게 디지털 환경을 이용할 수 있게 하겠다는 캘리포니아의 강한 의지가 엿보인다.