Cloudflare blockerar nu som standard AI-webbkrypare i ett försök att skydda onlinepublicister från AI-företagens exploatering av innehåll. Den traditionella överenskommelsen där söktjänster skickar trafik i utbyte mot att indexera innehåll har brutits, då AI-företag använder webbinnehåll för träning utan att kompensera publicister eller skicka trafik. Data från Cloudflare visar en stor obalans där AI-krypare gör tusentals förfrågningar för varje hänvisning de skickar tillbaka till webbplatser, vilket "strippar" webben på innehåll. Som svar lanserar Cloudflare tjänsten "Pay per crawl", som fungerar som en "vägtull" där AI-krypare måste betala publicister för tillgång till innehåll. Initiativet syftar till att ge publicister kontroll och ekonomisk ersättning för sitt innehåll, även om det kan göra den öppna webben mindre tillgänglig utan betalning.