Cloudflare restreint l'accès des agents d'IA crawlers

Les nouvelles règles pour les agents d'IA crawlers

Les agents d'IA crawlers, ces robots automatisés qui explorent le web pour récupérer des informations en temps réel, devront désormais obtenir une autorisation pour accéder à certaines parties du web. Cette mesure, annoncée par Cloudflare le 1er juillet, prendra effet à partir du 15 septembre. Jusqu'à présent, ces bots pouvaient librement explorer le web, mais dorénavant, ils seront bloqués par défaut sur certaines pages. Ce changement a suscité de nombreuses discussions, notamment autour de l'impact sur Google, un acteur majeur dans ce domaine.

Cloudflare a introduit une nouvelle classification pour les bots, divisée en trois catégories distinctes. La première, Search, concerne les bots qui indexent des pages pour répondre à des requêtes ultérieures. La deuxième, Agent, inclut les systèmes automatisés qui agissent en temps réel pour un utilisateur, comme les bots de récupération de ChatGPT. Enfin, la catégorie Training englobe les crawlers qui collectent du contenu pour entraîner des modèles d'IA. Ces nouvelles règles sont en vigueur depuis le 1er juillet pour tous les clients de Cloudflare, y compris ceux utilisant le service gratuit.

Changements à venir et implications

À partir du 15 septembre, les paramètres par défaut de Cloudflare seront modifiés. Les catégories Training et Agent seront bloquées sur les pages contenant des publicités, tandis que Search restera autorisé. Ces nouvelles restrictions s'appliqueront aux nouveaux domaines intégrés à Cloudflare, aux nouveaux sites créés par des clients existants, ainsi qu'à tous les clients du niveau gratuit. Ceux qui souhaitent éviter ces restrictions devront ajuster leurs paramètres de sécurité avant cette date.

La logique derrière cette décision repose sur l'idée que la présence de publicités sur une page indique qu'elle est destinée à un public humain. Un crawler de recherche qui redirige un utilisateur vers une page est considéré comme bénéfique, tandis qu'un bot qui lit la page et transmet l'information à un tiers ne l'est pas.

Les défis pour les agents d'IA crawlers

Les agents d'IA ont été développés avec l'idée que le web ouvert resterait accessible. Par exemple, un agent de recherche peut récupérer les tarifs d'un concurrent, un outil de surveillance peut vérifier les annonces d'un fournisseur, et un agent de service client peut extraire les spécifications d'un produit. Jusqu'à présent, ces actions ne nécessitaient pas de licence, mais la situation est en train de changer.

Cloudflare, qui gère une part importante du trafic web mondial, applique ces blocages au niveau du réseau, ce qui les rend plus difficiles à contourner qu'une simple directive dans un fichier robots.txt. Les pages soutenues par la publicité sont précisément celles que les agents cherchent à explorer, car elles contiennent des informations cruciales comme les actualités, les avis, les prix et les descriptions de produits. Pour une entreprise, l'échec d'un agent ne se traduit pas par un procès, mais par un silence ou une réponse incomplète basée sur les informations encore accessibles.

Un problème notable concerne Google. Le Googlebot, utilisé à la fois pour la recherche et l'entraînement, pourrait être bloqué sous les nouvelles règles. Le PDG de Cloudflare, Matthew Prince, a exprimé l'espoir que ces changements incitent les entreprises à séparer les fonctions de recherche et d'entraînement de leurs bots, soulignant ainsi la pression exercée pour se conformer aux nouvelles règles.

Comment obtenir l'autorisation pour les agents

Les gestionnaires d'agents doivent d'abord identifier quels de leurs comptes Cloudflare seront classés dans la catégorie Agent. Cette classification repose sur le comportement des bots plutôt que sur une inscription formelle. Un agent de recherche qui navigue en temps réel sera donc concerné, même si son opérateur ne le considère pas comme un crawler.

Les éditeurs de contenu ont également des décisions à prendre. Ils doivent vérifier leur niveau de service, car les clients du niveau gratuit seront automatiquement soumis aux nouveaux paramètres par défaut à partir du 15 septembre. Ils doivent aussi évaluer si le blocage de la catégorie Training vaut le coût potentiel, car cela pourrait également affecter le Googlebot et, par conséquent, leur visibilité dans les résultats de recherche.

Un aspect clé à surveiller est la monétisation. Le modèle de paiement par utilisation, avec des entreprises comme Ceramic.ai et You.com qui rémunèrent les éditeurs lorsque leur contenu est utilisé par des agents d'IA, pourrait devenir la norme. Cloudflare a noté que plus de la moitié du trafic des crawlers d'IA est consacré à la récupération de pages inchangées, ce qui représente un gaspillage de ressources des deux côtés.

Ce changement marque le début d'une nouvelle ère dans la gestion du contenu en ligne, où la solution proposée est un modèle de tarification plutôt qu'une simple restriction d'accès. Cependant, la classification des bots en Search, Agent et Training repose sur les déclarations des entreprises elles-mêmes, ce qui pourrait inciter certaines à reclasser leurs activités pour éviter les restrictions. L'accès libre et illimité au web, qui a duré trente ans, est désormais remis en question, et ceux qui ne s'adaptent pas rapidement risquent de rencontrer des obstacles significatifs.