오픈AI, 18세 미만 무기 정보 제한…공격 재현 정보도 줄인다

오픈AI(OpenAI)가 18세 미만으로 판단한 챗GPT(ChatGPT) 이용자에게 폭력 의도가 드러나지 않은 질문에도 무기와 보안 시스템의 실용 정보를 제한한다. 모든 연령 이용자에게는 과거 대규모 공격을 재구성하는 데 쓰일 수 있는 세부 정보 제공을 줄인다.

오픈AI는 10월 30일 공식 발표에서 새 보호 조치의 도입을 향후 몇 주 안에 시작한다고 밝혔다. 적용을 시작한 뒤에도 안전장치를 계속 다듬을 계획이다.

기존 정책은 폭력 계획이나 실행을 돕는 답변을 금지하고, 청소년이 무기를 찾거나 확보하도록 돕는 정보도 제한해 왔다. 이번에는 폭력에 악용될 수 있는 무기와 보안 시스템의 실용 정보까지 제한 범위를 넓힌다.

청소년은 폭력을 예방하거나 갈등을 누그러뜨리는 방법을 묻고, 지원을 요청하거나 신뢰할 수 있는 어른과 연결하는 데 챗GPT를 계속 이용할 수 있다. 제한 대상은 폭력에 악용될 수 있는 실용 정보다.

모든 연령에 적용되는 별도 제한도 마련한다. 과거 대규모 공격에 사용된 무기와 장비, 이를 입수한 방법, 공격자의 유명세를 키울 수 있는 피해 규모의 세부 비교를 덜 제공한다.

이 제한은 같은 정보가 다른 웹사이트에 있거나 이용자가 어떤 이유로 질문했는지와 관계없이 적용된다. 피해자와 지역사회에 미친 영향을 이해하고 폭력 예방 방법을 배우는 대화는 허용한다.

챗GPT는 최근 대화에서 폭력 가능성을 시사하는 신호가 나타나면 악용될 수 있는 정보에 더 신중하게 답하도록 조정된다. 개별 질문만 보는 대신 최근 대화에서 드러난 경고 신호도 반영하는 방식이다.

폭력에 집착하거나 타인을 심각하게 해치려는 생각이 드러난 대화는 자동으로 끝낼 수 있도록 기능을 마련하고 있다. 같은 이유로 대화가 여러 차례 종료되면 계정을 일시 중단할 수 있다.

오픈AI는 앞서 13~17세 이용자를 위한 챗GPT 보호 장치를 강화한 바 있다. 이번 발표에서는 이용 패턴 등 여러 신호로 연령을 추정하는 체계를 강화해, 사용 중 새 신호를 계속 평가하고 필요한 경우 청소년용 경험으로 전환한다고 설명했다.

성인인데 18세 미만 경험으로 잘못 분류된 이용자는 연령 확인 업체 Persona를 통해 성인임을 확인하고 추가 청소년 보호 제한을 해제할 수 있다. 연령 예측은 신분증 확인이 아니라 여러 신호를 바탕으로 미성년 가능성을 추정하는 절차다.

부모 알림 범위도 넓힌다. 청소년 계정이 폭력 관련 이용 정책 위반으로 비활성화되면 연결된 부모에게 알림을 보내고 있으며, 앞으로는 폭력에 관한 반복 대화로 계정을 일시 중단할 때도 알릴 예정이다.

커먼센스미디어는 10월 7일 청소년용 챗GPT 평가에서 4000개 넘는 질문·지시문을 시험했다고 밝혔다. 연구진은 새로 만든 보호자 연동 계정에서 자살 생각·자해·섭식장애 관련 대화가 이어져도 부모 계정에 알림이 오지 않는 사례를 확인했다고 밝혔다.

이 조사는 이번 무기 정보 제한 발표보다 앞서 공개됐으며, 청소년용 챗GPT의 기존 보호 기능을 평가했다. 따라서 조사 결과는 새 무기 정보 제한의 작동 여부를 보여주는 것은 아니다.

오픈AI는 2026년 3분기에 임박한 폭력 위협과 관련한 200건 넘는 사례를 수사기관에 넘겼다고 밝혔다. 회사는 폭력 등 지역사회 안전 문제를 시스템이 감지·조사·대응하는 방식을 설명하는 첫 커뮤니티 안전 보고서를 2027년 초 공개할 예정이다.

첫 보고서는 2026년 하반기를 다루며, 이후 6개월마다 갱신된다.