Brief IA : Google : robots.txt donne priorité aux règles précises

Google : robots.txt donne priorité aux règles précises

Brief IA
Tom Levy·5 min

Google a mis à jour ses règles pour le fichier robots.txt, en privilégiant les consignes spécifiques à un robot plutôt que les directives générales. De plus, pour qu'un PDF soit exclu des résultats de recherche via l'en-tête HTTP X-Robots-Tag: noindex, il doit rester accessible à l'exploration, ce qui est crucial pour éviter de bloquer des contenus importants pour le référencement.

En bref
1Un groupe spécifique à un robot remplace les consignes générales de robots.txt.
2Pour retirer un PDF de la recherche avec X-Robots-Tag: noindex, Google doit pouvoir explorer le document.
3Google distingue les filtres utiles au référencement des combinaisons indésirables.
Pourquoi c'est important : une restriction mal ciblée peut empêcher l'accès à un contenu destiné aux moteurs ou aux grands modèles de langage.

Dans robots.txt, Google applique la règle correspondant au plus grand nombre de caractères d'une URL et privilégie l'autorisation en cas d'égalité. Ce fichier encadre l'exploration des sites par les robots des moteurs de recherche et les agents d'IA. Une restriction mal ciblée peut écarter un contenu des résultats de recherche ou des grands modèles de langage.

Google doit lire l'en-tête HTTP X-Robots-Tag: noindex

Empêcher un robot de consulter un PDF ne remplit pas le même objectif que demander son exclusion des résultats. Pour cette dernière opération, Google doit pouvoir lire l'en-tête HTTP X-Robots-Tag: noindex : le document doit donc rester accessible à l'exploration. Cette distinction concerne notamment les guides commerciaux, les brochures et les autres fichiers proposés au téléchargement.

La directive Disallow: /*.pdf$ vise les adresses dont la terminaison est .pdf, indépendamment du répertoire. Elle laisse toutefois passer /guide.pdf?download=1 ainsi que les extensions écrites .PDF. Chaque variante nécessite une vérification distincte.

Dans WordPress, Disallow: /wp-content/uploads/*.pdf$ permet de cibler les documents du dossier de téléversement. Une exception telle que Allow: /wp-content/uploads/2024/09/allowed-document.pdf$ autorise néanmoins ce document précis. Son chemin plus détaillé l'emporte sur l'interdiction générale.

Les règles applicables à chaque robot

Installé à la racine du site, robots.txt est un fichier texte destiné à encadrer les visites des robots, désormais aussi bien ceux des moteurs que les agents d'IA. User-agent désigne le destinataire des consignes ; le groupe portant l'astérisque sert de défaut lorsqu'aucun groupe particulier ne correspond. Disallow demande aux robots respectueux du fichier d'éviter certains chemins, tandis qu'Allow prévoit des autorisations, y compris sous un dossier interdit. La directive Sitemap fournit, elle, l'adresse du plan XML pour aider les moteurs à le trouver.

Un groupe propre à un robot remplace les consignes générales au lieu de les compléter. Googlebot peut ainsi visiter /private/ si aucune interdiction ne figure dans son groupe, même si ce chemin est bloqué ailleurs : la restriction doit être placée dans le groupe qui lui correspond. Pour les robots d'entraînement d'IA, le choix des interdictions doit tenir compte des usages documentés ; les accès déclenchés à la demande d'utilisateurs sont à examiner séparément.

Dans un même groupe, Allow: /downloads/free/ préserve l'accès à ce sous-dossier malgré Disallow: /downloads/, qui continue de viser le reste. Si les directives Allow et Disallow portent exactement sur /downloads/, Google autorise la visite. La précision du chemin départage donc les règles avant leur caractère plus ou moins restrictif.

La syntaxe n'offre pas toutes les possibilités des expressions régulières : seuls deux caractères génériques sont disponibles. L'astérisque accepte zéro ou plusieurs caractères ; le dollar marque la terminaison de l'adresse. Pour les chemins, filter= diffère de Filter=, contrairement aux noms de directives et aux identifiants des agents, insensibles à la casse.

La lettre du soirGratuit · 19 h

Vous voulez les meilleurs outils IA avant les autres ?

On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Limiter les visites inutiles et protéger les comptes

Sur un catalogue marchand réunissant des centaines de milliers de pages, les filtres peuvent multiplier sans fin les variantes, sans contenu propre. Faute de restriction, Google peut essayer des combinaisons de paramètres jusque sur des adresses inexistantes, avec des pics de sollicitations et une consommation inutile des ressources du serveur comme du robot. Gary Illyes, de Google, a plusieurs fois averti de ce risque pour les adresses d'action. En 2024, Google a actualisé ses indications à propos notamment des ajouts au panier ou aux listes de souhaits.

Limiter les visites de pages sans visibilité recherchée, par exemple une politique de confidentialité, peut favoriser l'exploration des produits et services utiles. Google précise toutefois que les ressources économisées ne sont pas automatiquement reportées ailleurs, sauf lorsque le site atteint déjà sa capacité limite d'exploration. Éviter des visites superflues réduit aussi le calcul nécessaire aux moteurs, avec un bénéfice de durabilité.

La sélection dépend de l'utilité des pages et des objectifs d'indexation : recherches internes, tris sans objectif de référencement et actions marchandes ne justifient pas tous une visite. Des espaces de compte sans intérêt pour les résultats peuvent également être restreints, mais l'authentification reste nécessaire pour protéger les informations privées. Les scripts JavaScript sans rôle dans le contenu ou le rendu, notamment certains outils de suivi, peuvent aussi être concernés.

Un formulaire peut, par exemple, transmettre ses données à un point d'accès d'API avec l'attribut action="/form/submissions/". Si un robot découvre cette adresse, Disallow: /form/ demande de ne pas l'explorer. La restriction porte sur les pages sous ce répertoire sans qu'un astérisque soit nécessaire.

Choisir les filtres à laisser accessibles

Les facettes marchandes ne sont pas toutes destinées à être bloquées. Zalando dispose ainsi de pages par couleur ciblant notamment « t-shirt gris », une utilisation des filtres tournée vers des recherches générales de produits. Google distingue ces destinations utiles des combinaisons indésirables : les premières doivent rester explorables. À l'inverse, des filtres limités au tri des produits peuvent engendrer des dizaines de pages dupliquées.

Comme une adresse peut réunir plusieurs paramètres, chaque critère à restreindre doit être reconnu à différents emplacements. Pour sortby, les motifs sont /?sortby= et /?*&sortby= ; le même principe s'applique à color et price. Seuls les critères effectivement indésirables doivent être ajoutés aux interdictions, avec des tests portant tant sur les adresses à conserver que sur celles à écarter.

Les paramètres UTM ont une autre fonction : le suivi. John Mueller a abordé sur Reddit les paramètres de suivi présents dans des liens externes, une situation distincte des filtres et recherches produits par le site lui-même. Une chaîne de paramètres ne suffit donc pas à justifier un blocage : son usage sur le site compte. Les liens internes doivent pour leur part pointer vers les adresses dont la visite est souhaitée.

Restreindre les recherches internes sur WordPress

Les pages issues du moteur de recherche interne peuvent être restreintes lorsqu'elles n'ont pas vocation à apparaître dans les résultats des moteurs externes. Dans WordPress, cette recherche repose généralement sur s, comme dans https://www.example.com/?s=google. Ces résultats constituent une source fréquente de visites inutiles.

Pour les cibler, Disallow: /?s= reconnaît le paramètre initial, tandis que Disallow: /?*&s= le reconnaît après un autre. Ces chemins débutent par / et évitent de viser un nom différent dont seule la dernière lettre serait s. Ils ne reconnaissent pas /?S= : la vérification doit porter sur l'orthographe et l'ordre des paramètres réellement employés.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires