클라우드플레어, AI 크롤링에도 요금 부과… '데이터 공짜 시대' 끝나나

클라우드 인프라 기업 클라우드플레어(Cloudflare)가 인공지능(AI) 개발자들에게 웹사이트 콘텐츠 접근에 대한 ‘사용량 기반 과금(pay per crawl)’ 기능을 선보이며 AI 데이터 수집에 새로운 장벽을 세웠다. 이번 기능은 현재 비공개 베타 테스트 중이며, AI 크롤러의 웹페이지 요청 단위로 요금을 부과하는 방식이다. 이는 콘텐츠를 무료로 수집해가는 대형 AI 모델 개발자들과 콘텐츠 제공자 사이에 균형을 맞추려는 시도로 평가된다.

클라우드플레어는 전 세계 웹 트래픽의 약 20%를 처리하는 것으로 알려졌으며, 주요 웹사이트들의 콘텐츠 전송 네트워크(CDN)를 지원하고 있다. 이번에 도입된 과금 기능을 통해 사이트 운영자는 AI 봇의 접근 요청마다 고정 요금을 설정할 수 있으며, 요청별 가격 협상도 가능하다. 예외적으로 특정 AI 크롤러는 무료로 허용하거나 별도의 콘텐츠 제휴를 맺는 설정도 제공된다.

AI 크롤러가 클라우드플레어의 네트워크를 통해 웹사이트에 접근하면, HTTP 메시지를 통해 콘텐츠 접근에 요금이 필요하다는 알림을 받게 된다. 이에 따라 AI 개발자는 자신이 지불할 의사가 있는 최대 가격을 표시할 수 있으며, 사이트 운영자의 정책에 따라 접근 권한을 얻을 수 있다.

보안 기능도 강화됐다. 악성 주체가 정상적인 AI 크롤러로 가장해 콘텐츠에 무단 접근하는 것을 방지하기 위해 공개키 암호화 방식이 도입됐다. 특히 Ed25519 암호화 알고리즘이 활용되는데, 이 방식은 크롤러가 생성한 암호 메시지를 운영자가 검증할 수 있도록 공개키 기반 인증을 제공한다. 실제로 이는 서버 접속 프로토콜인 SSH에도 적용되는 수준 높은 보안 기술이다.

보안업체 이뮤니웹(ImmuniWeb)의 일리아 콜로첸코(Ilia Kolochenko) 최고경영자는 "클라우드플레어가 이제 AI 크롤러를 대상으로 요금 부과와 보안인증을 동시에 제공하게 됨에 따라, 대형 모델이 허가 없이 사람의 콘텐츠를 긁어가는 행위에 실질적인 제동이 걸릴 것"이라고 평가했다.

한편, 클라우드플레어는 이번 기능 외에도 AI 대응 체계를 강화하고 있다. 기본 설정으로는 AI 크롤러가 콘텐츠에 접근하지 못하게 차단되며, 광고가 포함된 페이지만 선택적으로 차단하는 옵션도 제공된다. AI가 웹 콘텐츠를 훈련 데이터로 광범위하게 활용하는 시대가 도래하면서, 콘텐츠 제공자들이 데이터 수익을 직접 통제할 수 있는 수단이 마련되고 있는 셈이다.

AI 기업과 웹사이트 간 콘텐츠 사용에 대한 긴장감이 점차 커지는 가운데, 클라우드플레어의 이번 조치는 시장 내 데이터 거래 조건 재조정의 신호탄이 될 수 있다는 분석이 나온다. AI 시대의 데이터 공정성에 대한 논의가 본격화되는 계기가 될 전망이다.