Dans robots.txt, Google applique la règle correspondant au plus grand nombre de caractères d'une URL et privilégie l'autorisation en cas d'égalité. Ce fichier encadre l'exploration des sites par les robots des moteurs de recherche et les agents d'IA. Une restriction mal ciblée peut écarter un contenu des résultats de recherche ou des grands modèles de langage.
Google doit lire l'en-tête HTTP X-Robots-Tag: noindex
Empêcher un robot de consulter un PDF ne remplit pas le même objectif que demander son exclusion des résultats. Pour cette dernière opération, Google doit pouvoir lire l'en-tête HTTP X-Robots-Tag: noindex : le document doit donc rester accessible à l'exploration. Cette distinction concerne notamment les guides commerciaux, les brochures et les autres fichiers proposés au téléchargement.
La directive Disallow: /*.pdf$ vise les adresses dont la terminaison est .pdf, indépendamment du répertoire. Elle laisse toutefois passer /guide.pdf?download=1 ainsi que les extensions écrites .PDF. Chaque variante nécessite une vérification distincte.
Dans WordPress, Disallow: /wp-content/uploads/*.pdf$ permet de cibler les documents du dossier de téléversement. Une exception telle que Allow: /wp-content/uploads/2024/09/allowed-document.pdf$ autorise néanmoins ce document précis. Son chemin plus détaillé l'emporte sur l'interdiction générale.
Les règles applicables à chaque robot
Installé à la racine du site, robots.txt est un fichier texte destiné à encadrer les visites des robots, désormais aussi bien ceux des moteurs que les agents d'IA. User-agent désigne le destinataire des consignes ; le groupe portant l'astérisque sert de défaut lorsqu'aucun groupe particulier ne correspond. Disallow demande aux robots respectueux du fichier d'éviter certains chemins, tandis qu'Allow prévoit des autorisations, y compris sous un dossier interdit. La directive Sitemap fournit, elle, l'adresse du plan XML pour aider les moteurs à le trouver.
Un groupe propre à un robot remplace les consignes générales au lieu de les compléter. Googlebot peut ainsi visiter /private/ si aucune interdiction ne figure dans son groupe, même si ce chemin est bloqué ailleurs : la restriction doit être placée dans le groupe qui lui correspond. Pour les robots d'entraînement d'IA, le choix des interdictions doit tenir compte des usages documentés ; les accès déclenchés à la demande d'utilisateurs sont à examiner séparément.
Dans un même groupe, Allow: /downloads/free/ préserve l'accès à ce sous-dossier malgré Disallow: /downloads/, qui continue de viser le reste. Si les directives Allow et Disallow portent exactement sur /downloads/, Google autorise la visite. La précision du chemin départage donc les règles avant leur caractère plus ou moins restrictif.
La syntaxe n'offre pas toutes les possibilités des expressions régulières : seuls deux caractères génériques sont disponibles. L'astérisque accepte zéro ou plusieurs caractères ; le dollar marque la terminaison de l'adresse. Pour les chemins, filter= diffère de Filter=, contrairement aux noms de directives et aux identifiants des agents, insensibles à la casse.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Limiter les visites inutiles et protéger les comptes
Sur un catalogue marchand réunissant des centaines de milliers de pages, les filtres peuvent multiplier sans fin les variantes, sans contenu propre. Faute de restriction, Google peut essayer des combinaisons de paramètres jusque sur des adresses inexistantes, avec des pics de sollicitations et une consommation inutile des ressources du serveur comme du robot. Gary Illyes, de Google, a plusieurs fois averti de ce risque pour les adresses d'action. En 2024, Google a actualisé ses indications à propos notamment des ajouts au panier ou aux listes de souhaits.
Limiter les visites de pages sans visibilité recherchée, par exemple une politique de confidentialité, peut favoriser l'exploration des produits et services utiles. Google précise toutefois que les ressources économisées ne sont pas automatiquement reportées ailleurs, sauf lorsque le site atteint déjà sa capacité limite d'exploration. Éviter des visites superflues réduit aussi le calcul nécessaire aux moteurs, avec un bénéfice de durabilité.
La sélection dépend de l'utilité des pages et des objectifs d'indexation : recherches internes, tris sans objectif de référencement et actions marchandes ne justifient pas tous une visite. Des espaces de compte sans intérêt pour les résultats peuvent également être restreints, mais l'authentification reste nécessaire pour protéger les informations privées. Les scripts JavaScript sans rôle dans le contenu ou le rendu, notamment certains outils de suivi, peuvent aussi être concernés.
Un formulaire peut, par exemple, transmettre ses données à un point d'accès d'API avec l'attribut action="/form/submissions/". Si un robot découvre cette adresse, Disallow: /form/ demande de ne pas l'explorer. La restriction porte sur les pages sous ce répertoire sans qu'un astérisque soit nécessaire.
Choisir les filtres à laisser accessibles
Les facettes marchandes ne sont pas toutes destinées à être bloquées. Zalando dispose ainsi de pages par couleur ciblant notamment « t-shirt gris », une utilisation des filtres tournée vers des recherches générales de produits. Google distingue ces destinations utiles des combinaisons indésirables : les premières doivent rester explorables. À l'inverse, des filtres limités au tri des produits peuvent engendrer des dizaines de pages dupliquées.
Comme une adresse peut réunir plusieurs paramètres, chaque critère à restreindre doit être reconnu à différents emplacements. Pour sortby, les motifs sont /?sortby= et /?*&sortby= ; le même principe s'applique à color et price. Seuls les critères effectivement indésirables doivent être ajoutés aux interdictions, avec des tests portant tant sur les adresses à conserver que sur celles à écarter.
Les paramètres UTM ont une autre fonction : le suivi. John Mueller a abordé sur Reddit les paramètres de suivi présents dans des liens externes, une situation distincte des filtres et recherches produits par le site lui-même. Une chaîne de paramètres ne suffit donc pas à justifier un blocage : son usage sur le site compte. Les liens internes doivent pour leur part pointer vers les adresses dont la visite est souhaitée.
Restreindre les recherches internes sur WordPress
Les pages issues du moteur de recherche interne peuvent être restreintes lorsqu'elles n'ont pas vocation à apparaître dans les résultats des moteurs externes. Dans WordPress, cette recherche repose généralement sur s, comme dans https://www.example.com/?s=google. Ces résultats constituent une source fréquente de visites inutiles.
Pour les cibler, Disallow: /?s= reconnaît le paramètre initial, tandis que Disallow: /?*&s= le reconnaît après un autre. Ces chemins débutent par / et évitent de viser un nom différent dont seule la dernière lettre serait s. Ils ne reconnaissent pas /?S= : la vérification doit porter sur l'orthographe et l'ordre des paramètres réellement employés.




