사이트 17% AI 학습 차단…클라우드플레어 새 설정 공개

클라우드플레어(Cloudflare)가 웹사이트 운영자가 검색 색인은 유지하면서 콘텐츠의 인공지능(AI) 학습 사용은 거부할 수 있는 설정을 전체 고객에게 제공한다.

클라우드플레어는 15일 'Disallow AI Training' 설정을 공개했다. 이 설정은 검색과 AI 모델 학습에 함께 쓰이는 혼합형 크롤러를 구분해 처리하는 기능이다.

클라우드플레어는 자사 사이트의 약 17%가 이미 어떤 형태로든 AI 학습 크롤링을 차단하고 있다고 밝혔다. 검색 크롤러를 차단한 사이트는 1% 미만이었다.

새 설정에서 사이트 운영자가 AI 학습 거부를 선택하면 클라우드플레어가 해당 의사를 robots.txt에 게시한다. 기준을 충족한 혼합형 크롤러는 검색 색인을 위해 계속 접근할 수 있지만, 별도 학습 크롤러는 차단된다.

모든 관련 크롤러의 접근을 막는 'Block'을 선택하면 검색 접근도 함께 차단된다. 검색 유입과 콘텐츠의 AI 학습 사용을 분리해 관리할지 여부에 따라 설정이 달라지는 구조다.

클라우드플레어는 기존 'Block AI Bots' 기능을 검색·학습·에이전트별 설정으로 대체했다. 에이전트는 사용자를 대신해 웹페이지를 방문하는 자동화 도구를 뜻한다.

광고 기반 사이트에는 학습 크롤러를 거부하고, 에이전트는 광고가 표시되는 페이지에서 차단하며 검색은 허용하는 설정을 권장했다. 새 도메인에는 수익 모델에 따라 기본 설정값이 다르게 적용된다.

클라우드플레어는 크롤러 운영자의 책임 기준도 제시했다. 기준에는 AI 학습 거부 수단과 AI 요약 거부 수단, URL 단위 콘텐츠 사용 현황 공개, 학습 거부가 전통적인 검색 결과에 영향을 주지 않는다는 확인이 포함됐다.

애플(Apple)·구글(Google)·마이크로소프트(Microsoft)는 이 기준을 충족했거나 일정한 기한 안에 충족하겠다고 밝힌 운영자로 분류됐다. 아마존(Amazon)·앤트로픽(Anthropic)·메타(Meta)·오픈AI(OpenAI)는 검색용 크롤러와 학습용 크롤러를 분리해 운영하는 관련 크롤러가 책임 있는 운영자 범주에 포함됐다.

클라우드플레어는 검색과 AI 학습을 함께 수행하는 혼합형 크롤러가 자사 네트워크에서 확인된 크롤러 트래픽의 36.6%를 차지한다고 밝혔다. 이에 따라 단일 차단 버튼보다 콘텐츠 사용 목적을 나눠 관리하는 정책이 필요하다고 설명했다.

이번 조치는 AI 서비스가 웹 콘텐츠를 검색·요약·학습에 활용하는 과정에서 콘텐츠 제공자의 통제 범위를 나누려는 흐름과 맞닿아 있다. 국내에서도 검색 API 데이터의 AI 학습·답변 활용을 제한한 네이버의 정책이 발표된 바 있다.

다만 AI 요약에 대한 통제는 아직 크롤러 운영자별로 별도 설정해야 한다. 클라우드플레어는 내년 초까지 웹사이트 운영자가 한 곳에서 AI 요약에 포함되는 콘텐츠 범위를 조절할 수 있는 기능을 마련할 계획이다.