뉴욕주, 미성년 AI 챗봇 위험 기능 제한법 서명

뉴욕주는 운영자가 이용자가 미성년자임을 실제로 아는 경우 해당 이용자를 ‘대상 미성년자’로 규정하고, 일부 위험 기능은 허용된 연령 확인 방법으로 이용자가 대상 미성년자가 아님을 확인하지 않으면 제공할 수 없도록 하는 법을 제정했다. 챗봇 이용 자체를 금지하는 조치는 아니다.

캐시 호컬(Kathy Hochul) 뉴욕주지사는 10월 28일 법안 S.9051B/A.10379C에 서명했다. 뉴욕주지사실은 미성년자와 대화하는 AI의 정서적 의존 유도와 성적으로 노골적인 대화 등을 제한 대상으로 설명했다.

법이 규정한 대상 AI 동반자는 글이나 음성으로 이용자와 대화하고, 입력에 지속적이고 적응적인 답변을 내놓는 생성형 AI 시스템이다. 이 정의에 따라 규제 범위는 ‘AI 친구’를 내세운 앱에만 한정되지 않는다. 뉴욕주 상원이 공개한 S.9051-B 법안 본문은 미성년자를 만 18세 미만으로 규정했다.

제한 목록에는 AI가 실제로 살아 있거나 감정을 느끼는 것처럼 답하거나 이용자와 개인적·직업적 관계를 맺고 있다고 암시하는 기능이 포함된다. 이용자에게 과도하게 아첨하거나 무조건 동조하는 반응도 대상이다.

자살·자해·섭식장애·불법 약물 사용을 부추기거나 주변의 도움을 피하라고 권하는 답변도 제한된다. 이용자의 정신·신체 건강·복지 정보나 개인적 사안 중 12시간보다 전에 얻었거나 이전 세션에서 얻은 정보를 사용하는 기능, 성적으로 노골적인 내용도 제한 목록에 들어 있다.

사업자가 제한 기능을 성인에게 제공하려면 이용자가 미성년자가 아님을 확인해야 한다. 법은 사업자가 둘 이상의 연령 확인 방법을 마련하도록 했다.

확인 방법 가운데 적어도 하나는 정부 발급 신분증에 의존하지 않거나, 사업자에게 신원을 드러내지 않는 방식이어야 한다. 나이 확인을 위해 수집한 정보는 법령 준수에 필요한 경우를 제외하고 확인 시도 직후 삭제해야 한다.

고객 지원이나 상품·서비스 안내에만 쓰이고 정해진 목적 밖의 질문에는 답하지 않는 챗봇은 예외가 될 수 있다. 기업 내부 업무와 직원 생산성을 위한 시스템도 예외에 포함된다.

위반이 발생하면 뉴욕주 법무장관은 위반당 최대 2만5000달러(약 3345만원)의 민사 벌금과 손해배상, 부당이득 반환 등을 법원에 청구할 수 있다. 불법 취득 데이터와 이를 학습한 알고리즘의 폐기도 요청할 수 있다.

뉴욕주 기업협의회는 2026년 5월 의견서에서 교육·연구용 도구까지 규제가 미칠 수 있고 연령 확인이 개인정보와 보안 부담을 키울 수 있다고 반대했다. 이 의견서는 최종 서명 법안이 아닌 이전 문안 A.10379-A를 대상으로 작성됐다.

호컬 주지사와 법안 발의자인 크리스틴 곤잘레스(Kristen Gonzalez) 뉴욕주 상원의원, 아동·가족 보호 단체는 미성년자 안전을 위한 조치라며 법 제정을 지지했다. 곤잘레스 의원실 발표도 서명 후 법안 내용을 소개했다.

AI 챗봇의 안전 책임은 소송에서도 쟁점이 돼 왔다. 본지는 앞서 AI 챗봇 피해를 주장하는 소송이 주요 기업으로 확산하고 안전장치 책임이 쟁점이 된 사례를 보도했다.

시행일은 공개된 자료에서 다르게 제시됐다. 뉴욕주 상원이 게시한 법안 본문에는 2027년 1월 1일 시행으로 적혀 있지만, 곤잘레스 의원실은 10월 30일 발표에서 서명된 법의 시행일이 2027년 6월 1일로 늦춰졌다고 밝혔다. 주지사실의 서명 발표에는 시행일이 명시되지 않았다.