AI 봇, 웹 트래픽 80% 점령…GPTBot은 전 세계 도메인 95% 인덱싱

AI 기술의 확산이 웹 트래픽의 판도를 뒤흔들고 있다는 분석이 나왔다. 엣지 클라우드 플랫폼 업체 패스트리(Fastly)가 최근 발표한 ‘2025년 2분기 위협 인사이트 보고서’에 따르면, 대규모 언어 모델 훈련과 작동을 위해 생성된 AI 봇들이 전 세계 인터넷 흐름의 중심축으로 자리잡고 있는 것으로 나타났다.

보고서에 따르면, 현재 웹 트래픽의 약 80%는 크롤러 형태의 AI 봇이 만들어내고 있으며, 이 중 메타(Meta)가 52%의 비중으로 가장 두드러졌다. 이어 구글(GOOGL)이 23%, 오픈AI(OpenAI)가 20%를 차지했다. 특히 오픈AI가 운영하는 GPTBot은 관측된 전체 도메인의 95%를 인덱싱하며 가장 넓은 범위를 커버했다는 점에서 주목된다.

추론 과정에서 실시간으로 콘텐츠를 불러오는 ‘페처(Fetcher)’ 봇은 전체 AI 트래픽의 20%를 담당하며, 이 역시 오픈AI가 절대적인 점유율(98%)을 보였다. 문제는 이들이 종종 분산서비스거부(DDoS) 공격에 준하는 트래픽을 생성한다는 점이다. 보고서에서는 한 웹사이트에 분당 3만9,000건의 요청을 보낸 사례가 소개됐으며, 악의적 의도 없이도 인프라에 중대한 부담을 줄 수 있음을 보여준다.

지역별·산업별 차이도 뚜렷하다. 북미는 AI 봇 트래픽의 대부분이 크롤러로 구성된 반면, 유럽·중동·아프리카(EMEA) 지역은 페처 활동이 더 활발했다. 업종별로는 커머스, 헬스케어, 공공 부문에서 AI 봇의 대부분이 크롤러 형태였고, 언론과 교육 분야에서는 실시간 데이터 접근이 많은 페처 비중이 더 높았다.

이처럼 AI 봇의 트래픽이 전방위적으로 확대되면서 콘텐츠 제공자와 인프라 운영자들은 새로운 대응을 요구받고 있다. 패스트리는 로봇 접근제한 파일(robots.txt), 요청 속도 제한, CAPTCHA, 고급 봇 탐지 시스템 등 다층적 방어 전략을 권장하고 있다. 아울러 ‘톨빗(Tollbit)’ 같은 라이선싱 플랫폼을 활용해 AI 봇 요청을 승인된 형태로 유도하고, 이를 수익화하는 새로운 모델도 제시했다.

또한 보고서는 AI 모델이 사용하는 학습 데이터의 편향성에도 경고음을 울렸다. 북미 중심의 콘텐츠가 과도하게 AI 모델에 반영되면서 특정 문화나 정치적 관점이 시스템에 구조적으로 내재될 수 있다는 것이다. 반면, 일본의 소프트뱅크(SoftBank)나 NICT처럼 아시아·태평양 지역 정보를 선호하거나, 유럽 언론 콘텐츠를 주로 수집하는 디프봇(Diffbot)의 사례는 이러한 편향에서 벗어나기 위한 전략적 시도로 이해된다.

AI가 주도하는 웹 환경 변화는 기술 업계뿐 아니라 웹사이트 운영자, 정책 입안자, 글로벌 기업 전반에 영향을 미치고 있다. AI 봇이 단순 자동화 수단을 넘어, 디지털 생태계 전반을 재편하는 새로운 주체로 떠오르고 있다는 분석이 힘을 얻고 있다.