Quatre géants de l'IA comptent s'aligner sur un même signal dans robots.txt pour exprimer l'opt‑out de scraping. Anthropic l'utilise déjà, Google et Microsoft visent l'année prochaine et OpenAI annonce une mise en œuvre dans les prochains mois. Microsoft prévoit des réglages plus fins, tout en maintenant l'affichage dans Bing.
Déploiement étalé et visibilité Bing maintenue
Anthropic a déjà adopté le « policy token ». Google et Microsoft prévoient de le soutenir l'année prochaine, et OpenAI indique une mise en œuvre dans les prochains mois. Microsoft précise que les sites resteront visibles dans les résultats de recherche de Bing, même si leurs préférences de scraping sont exprimées via ce signal.
Engagement à restreindre les crawlers et options spécifiques chez Microsoft
OpenAI, Google, Microsoft et Anthropic annoncent qu'ils limiteront l'accès de leurs crawlers d'IA à un site si le « policy token » y est présent. Microsoft prévoit en plus des contrôles plus détaillés pour permettre aux éditeurs de se désinscrire soit de la formation des modèles, soit de l'AI grounding, qui consiste à relier un modèle d'IA à une source d'information vérifiée afin de réduire les hallucinations.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un jeton partagé dans robots.txt et un paysage déjà défensif
Kevin Kelley, qui occupe le poste de responsable technique des standards chez Anthropic, propose dans le cadre de l'IETF un signal partagé baptisé « policy token ». Ce signal est destiné à être ajouté au fichier robots.txt, lequel sert actuellement à spécifier les crawlers autorisés ou interdits d'accès à un site pour l'indexation, l'archivage ou l'entraînement de modèles d'IA. Aujourd'hui, les éditeurs doivent encore exprimer séparément leurs préférences à chaque entreprise d'IA, ce que ce signal vise à centraliser. Cette évolution intervient alors que les éditeurs font face à une multiplication des crawlers d'IA venant extraire leurs contenus pour entraîner des modèles. D'autres solutions existent déjà : le standard Really Simple Licensing permet de facturer les crawlers, et Cloudflare bloque par défaut les crawlers d'IA.
