2026년 5월 봇 요청 비중 약 60%…클라우드플레어, AI 학습료 요구

클라우드플레어($NET) 네트워크를 통과한 웹사이트 요청 가운데 봇 요청 비중이 2026년 5월 약 60%를 기록했다. 회사가 봇·AI 에이전트 트래픽이 인간 트래픽을 넘어설 것으로 예상한 시점보다 약 1년 앞선 변화다.

매슈 프린스(Matthew Prince) 클라우드플레어 CEO는 AI 기업이 모델 개발에 사용하는 콘텐츠와 웹 인프라에 대가를 지급해야 한다고 주장했다. AI 크롤러가 웹사이트 콘텐츠를 가져가면서도 실제 방문자를 보내지 않아 광고와 구독에 의존하는 사이트의 수익 구조를 훼손할 수 있다는 이유에서다. 포천은 프린스 CEO가 이 같은 입장을 밝혔다고 전했다.

다만 여기서 말하는 60%는 전체 인터넷 이용자 수가 아니라 클라우드플레어 네트워크에서 관측한 웹사이트 요청 비중이다. 봇 분류에는 AI 학습 크롤러뿐 아니라 검색엔진 크롤러, 보안 스캐너, API 요청 등 다양한 자동화 요청이 포함될 수 있다.

따라서 봇 요청이 인간 요청보다 많다는 사실을 실제 방문자 수나 고유 이용자 수가 인간보다 많다는 뜻으로 확대해서는 안 된다. 요청 빈도가 높은 자동화 프로그램이 통계에 미치는 영향도 함께 고려해야 한다.

클라우드플레어는 9월 15일 웹사이트 운영자가 검색용 크롤링은 허용하면서 AI 학습용 접근은 제한할 수 있는 ‘Disallow AI Training’ 설정을 도입했다. 기존에는 검색과 AI 학습을 하나의 크롤러가 함께 수행하는 경우가 있어 AI 학습을 막으면 검색 노출까지 줄어들 수 있었다.

새 설정은 크롤러의 목적을 검색(Search), 학습(Training), 에이전트(Agent) 트래픽으로 구분한다. 웹사이트 운영자는 검색 색인은 유지하면서 모델 학습에 필요한 접근만 제한할 수 있다.

클라우드플레어는 애플, 구글, 마이크로소프트가 해당 설정을 존중하거나 일정 시한 내 지원하기로 했다고 밝혔다. 애플봇·구글봇·빙봇처럼 검색과 학습을 함께 수행하는 크롤러는 학습 목적의 접근만 제한할 수 있다고 설명했다.

아마존·앤트로픽·메타·오픈AI의 학습 전용 크롤러는 검색 기능과 분리돼 있어 차단해도 검색 노출에는 영향을 주지 않는다고 클라우드플레어는 밝혔다. 마이크로소프트는 robots.txt를 통한 학습 거부 신호 지원을 2027년 초 목표로 개발 중이다.

클라우드플레어는 검색 봇을 차단하는 사이트가 전체의 1% 미만인 반면, AI 학습 차단 기능을 일부 활성화한 사이트는 17%라고 밝혔다. 검색 유입은 유지하면서 AI 학습에 대해서는 별도 선택권을 행사하려는 운영자가 많다는 설명이다.

클라우드플레어는 2025년 6월 기준 오픈AI의 크롤링 대 추천 유입 비율이 1700대 1, 앤트로픽은 7만3000대 1이었다고 밝혔다. AI 크롤러가 콘텐츠를 수집하는 규모와 원문 사이트로 돌아오는 방문자 사이에 차이가 있다는 점을 보여주는 수치다.

이 같은 구조는 광고와 구독을 주요 수익원으로 삼는 웹사이트의 이해관계와 충돌할 수 있다. 검색엔진은 콘텐츠를 수집한 뒤 검색 결과를 통해 방문자를 돌려보내지만, AI 학습 크롤러는 콘텐츠를 모델에 반영한 뒤 원문 사이트로 독자를 보내지 않을 수 있기 때문이다.

클라우드플레어는 2025년 7월 ‘Pay Per Crawl’ 구상도 공개했다. 웹사이트 운영자가 AI 크롤러의 접근 가격을 설정하고 AI 기업이 콘텐츠 접근료를 지급하는 방식이다.

다만 실제 참여 기업과 콘텐츠별 가격, 수익 배분 방식은 정해지지 않았다. AI 기업이 이용료를 지급하더라도 모든 콘텐츠 제작자에게 자동으로 보상이 돌아가는 것은 아니며, 계약 조건과 배분 구조는 별도 논의가 필요하다.

robots.txt만으로 모든 크롤러의 접근을 통제하기도 어렵다. 클라우드플레어는 robots.txt가 크롤러의 신원과 접근 목적을 확인하거나 지시 위반을 강제하는 수단은 아니라고 설명했다.

앞서 트위치가 AI 학습을 기본 허용해 창작자 반발을 샀던 사례처럼 콘텐츠 제공자가 학습 허용 여부를 직접 선택할 수 있는지가 업계의 쟁점으로 떠오르고 있다. 클라우드플레어의 새 설정은 검색 노출과 AI 학습 동의를 분리하려는 기술적 접근이다.

클라우드플레어는 검색·학습·에이전트 트래픽을 구분하는 통제 체계를 확대하고 있으며, 마이크로소프트는 2027년 초 robots.txt 기반 학습 거부 신호 지원을 목표로 개발 중이다. ‘Pay Per Crawl’의 실제 도입 규모와 콘텐츠 이용료 배분 방식은 향후 협의 대상이다.