Cloudflare a annoncé son intention de bloquer les robots d’exploration Web à usage mixte qui indexent les sites Web pour les moteurs de recherche et servent d’agents d’IA. Ce changement marque une rupture avec la politique précédente de l’entreprise, qui permettait aux clients de refuser que leurs sites soient supprimés pour les chatbots IA. Cloudflare adopte désormais par défaut une position plus défensive.
Le PDG Matthew Prince a déclaré : « Maintenant que la majorité du trafic sur Internet est non humaine, nous devons aller plus loin et agir plus rapidement afin qu’un écosystème durable puisse émerger. » La nouvelle politique est conçue pour offrir aux propriétaires de sites Web un plus grand contrôle sur la manière dont leur contenu est utilisé par les sociétés d’IA tout en conservant la visibilité et les opportunités commerciales.
À partir du 15 septembre 2026, les nouveaux clients et les abonnés Cloudflare existants qui lancent de nouveaux sites Web autoriseront par défaut la recherche, mais bloqueront la formation à l’IA et l’utilisation d’agents pour les pages qui hébergent des publicités. Les robots d’exploration à usage mixte qui ne permettent pas aux propriétaires de sites de contrôler l’utilisation de l’IA seront également bloqués sur les pages financées par la publicité. Les utilisateurs de comptes gratuits passeront à ces nouvelles valeurs par défaut à moins qu’ils ne se désengagent avant la date limite.
Cloudflare améliore sa fonctionnalité Pay Per Crawl, désormais appelée Pay Per Use. Ce changement permet aux propriétaires de sites de gagner des revenus en fonction de la manière dont leur contenu est utilisé dans les réponses des chatbots IA, plutôt que simplement sur les explorations. Actuellement, la société s’associe à Ceramic.AI et You.com, suggérant des efforts pour impliquer d’autres sociétés d’IA.
La politique semble également cibler Google indirectement. L’annonce de Cloudflare indique que « le plus grand moteur de recherche a accès à environ 2 fois plus d’informations que les principales sociétés d’IA », car il intègre l’indexation de recherche à la formation en IA. Googlebot est responsable à la fois de l’indexation et de la formation, mais les éditeurs manquent d’options pour séparer l’utilisation du contenu entre les applications de recherche traditionnelles et celles d’IA.
Cloudflare vise à encourager les robots d’exploration à usage mixte à adopter des distinctions plus claires entre les fonctions de recherche et de formation à l’IA. Les nouvelles mesures se positionnent comme une stratégie visant à inciter Google et d’autres entreprises ayant des pratiques similaires à réviser leurs approches.
