Cloudflare révèle Anthropic comme le plus grand prédateur du web

Cloudflare dévoile les pratiques des géants de l'IA

Cloudflare, un acteur majeur dans la gestion de la sécurité et de la performance du web, a récemment publié des données sur les demandes de crawl effectuées par les intelligences artificielles (IA). Ces informations permettent de comprendre comment ces entreprises interagissent avec le web, en particulier si elles prennent plus qu'elles ne rendent. Parmi les entreprises étudiées, une se distingue particulièrement par son comportement.

Chaque trimestre, Cloudflare offre un aperçu de la manière dont les principales entreprises d'IA exploitent le web. Les dernières statistiques révèlent une tendance persistante : l'exploitation intensive des ressources web par ces géants.

Anthropic en tête des explorations

Pour la période du 1er au 7 juillet, les données de Cloudflare montrent qu'Anthropic, une entreprise d'IA, se démarque par son ratio élevé de crawl-to-refer. Les bots d'Anthropic ont exploré environ 2 800 pages pour chaque référence renvoyée, un chiffre qui la place loin devant ses concurrents.

OpenAI, un autre acteur majeur, suit à une certaine distance, avec Perplexity en troisième position. Microsoft et Google arrivent ensuite, mais avec un écart significatif par rapport aux trois premiers.

DuckDuckGo, un modèle d'équilibre

Parmi les entreprises analysées, DuckDuckGo se distingue par sa capacité à maintenir un équilibre presque équitable entre ce qu'elle prend du web et ce qu'elle rend. Selon Cloudflare, DuckDuckGo effectue trois scrapes pour chaque référence, un ratio qui contraste fortement avec celui d'Anthropic.

Une amélioration relative pour Anthropic

Bien qu'Anthropic ait amélioré son ratio par rapport à un impressionnant 8 800 à 1 enregistré début avril, l'entreprise continue de scraper de manière intensive. Par exemple, au début du mois de mai, ses bots ont exploré des sites 24 700 fois pour chaque référence. Cette amélioration relative pourrait être due à une baisse d'activité saisonnière.

L'impact sur l'économie du web

La métrique de Cloudflare est cruciale pour évaluer si les géants de l'IA respectent l'accord économique traditionnel du web. Cet accord repose sur le principe que les sites autorisent le crawl gratuit en échange de trafic, un modèle aujourd'hui menacé par l'essor de l'IA générative.

Les moteurs de réponses IA et les chatbots fournissent désormais des réponses directes, réduisant ainsi le besoin pour les utilisateurs de visiter les sites sources. Cette dynamique diminue l'incitation à produire du contenu de qualité sur le web.

Les contradictions d'Anthropic

Anthropic se présente comme une entreprise d'IA éthique, mais les données de Cloudflare soulèvent des questions sur cette éthique. L'entreprise a critiqué ses rivaux pour avoir utilisé les résultats de ses modèles pour améliorer leurs propres produits, qualifiant cela d'"attaques par distillation".

Cependant, cette critique pourrait s'appliquer à Anthropic elle-même, qui collecte du contenu web, souvent sans le consentement des propriétaires, pour développer ses produits. Cette situation illustre les complexités du web moderne, où les pratiques de collecte de données sont souvent controversées.