구글에서 선호하는 출처로 추가

AI 생성 아동 성착취물 탐지…챗GPT 경고·24시간 이용 제한

새 이미지 분류기는 시각적 단서를 분석해 검토 우선순위를 제시하며, 심사를 거친 기관에 API로 무료 제공된다. 챗GPT 조치는 웹·모바일 개인 계정부터 단계적으로 적용된다.

토포AI로 이 기사 더 깊이 읽기

태블릿 화면에서 이미지 검토 표시를 살피는 담당자의 손 / TokenPost.ai

오픈AI(OpenAI)가 인공지능(AI)으로 만든 아동 성착취물까지 탐지하는 이미지 분류기를 공개하고, 챗GPT(ChatGPT)에서 관련 자료를 찾으려는 이용자에게 경고와 24시간 이용 제한을 도입했다. 새 분류기는 이미지의 시각적 특징을 분석해 검토 우선순위를 제시한다.

오픈AI는 16일(현지시간) 공식 발표에서 이미지 분류기와 챗GPT 경고, 개발자 지침, 수사기관 지원 도구를 함께 소개했다. 분류기는 미국 실종·착취아동센터(NCMEC)의 도움을 받아 개발했으며, 심사를 거친 기관에 API로 무료 제공한다.

분류기는 이미지에 담긴 시각적 단서를 살펴 위험 점수를 매긴다. 이를 통해 담당자가 이전에 확인되지 않은 이미지나 AI 생성 자료를 먼저 검토하도록 돕는다.

기존 해시 대조는 확인된 이미지의 디지털 지문을 목록과 비교하는 방식이다. 목록에 지문이 없는 새 이미지에는 이 방식만으로 대응하기 어려워, 오픈AI는 새 분류기를 기존 보호 장치를 보완하는 수단으로 설명했다.

오픈AI가 이용자 업로드 이미지를 대상으로 진행한 자체 평가에서는 새 분류기가 기존 보호 장치와 비슷한 수의 성착취물을 찾아내면서 검토 대상으로 표시한 이미지는 48% 적었다. 새 분류기가 표시한 이미지가 실제 성착취물을 포함할 가능성은 기존보다 약 두 배 높았다.

협력사 fal의 운영 이미지 시험에서는 사람이 검토한 고신뢰 표시 사례 가운데 72%가 이전에 확인되지 않은 성착취물로 판정됐다. 이는 오픈AI의 이용자 업로드 이미지 평가와 별도로 진행된 시험이다.

다른 협력사 시험도 별도로 이뤄졌다. invideo AI의 평가에서는 표시된 사례 중 4건에 1건꼴로 이용 정지 조치가 뒤따랐고, SafetyKit은 아동을 성적으로 묘사한 그림·애니메이션 사례의 90%를 탐지했다고 밝혔다.

챗GPT는 관련 자료를 찾으려는 요청을 포착하면 경고를 띄우고 대화를 중단한다. 오픈AI는 경고와 함께 로그인 이용자의 대화를 기록에서 숨기고 챗GPT 접근을 24시간 중단한다고 밝혔다.

반복 위반은 더 긴 이용 제한이나 계정 폐쇄로 이어질 수 있고, 당국에 신고될 수도 있다. 경고에는 유해 행동을 멈추도록 돕는 전문 지원 안내도 포함된다.

오픈AI의 제품 도움말은 조치가 전 세계에 단계적으로 적용된다고 안내한다. 대상은 웹·모바일 개인 계정의 채팅 및 작업 모드이며, 로그인하지 않은 이용자도 경고를 볼 수 있다.

비즈니스·엔터프라이즈·교육·의료용 공간에는 아직 적용되지 않는다. 음성 모드와 데스크톱 앱, 코덱스도 현재 적용 대상에서 제외돼 있다.

개발자 지침은 유해 자료의 예방·탐지·신고 절차를 다룬다. 오픈AI는 기존 이미지의 해시 대조와 새 자료를 찾는 분류기, 교육받은 담당자의 검토를 함께 활용하도록 권고했다.

수사기관에는 긴 대화 기록과 법적 절차에 따라 제출된 자료를 검토하는 도구와 교육을 지원한다. 첫 도구는 관련 가능성이 있는 자료를 찾아내고 시간순으로 정리하며, 결과를 원자료와 연결하도록 설계됐다.

오픈AI는 이번 조치가 지난 4월 공개한 아동 안전 청사진의 후속 작업이라고 설명했다. 청사진에는 AI 생성 성착취물에 대응하기 위한 법 정비와 사업자의 신고·수사기관 협력 강화, AI 설계 단계의 안전 조치가 담겼다.

오픈AI는 앞서 아동 대상 AI의 위험과 기회를 측정할 도구 개발에 200만달러(약 26억7000만원)를 약정했다고 밝혔다. 이번에는 탐지 도구와 서비스 내 경고, 개발자·수사기관 지원을 추가했다.

NCMEC는 새 분류기가 이전에 확인되지 않은 성착취물의 탐지와 신고를 돕고, 피해자를 찾고 보호하는 데 필요한 정보를 제공할 수 있다고 평가했다. 분류기를 여러 기관이 이용할 수 있게 한 점도 아동 안전 대응에 보탬이 될 수 있다고 밝혔다.

오픈AI의 모델 설명서는 분류기가 정상 이미지를 잘못 표시하거나 유해 이미지를 놓칠 수 있다고 밝혔다. 서비스마다 이미지 구성과 이용 환경이 달라 성능도 달라질 수 있어, 신고 전에는 교육받은 담당자가 확인해야 한다고 설명했다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기