Fichier robots.txt : le guide pour le configurer sans erreur
Article mis à jour le 12/11/2026.
Le fichier robots.txt est un petit fichier texte placé à la racine de votre site (votresite.fr/robots.txt). Il indique aux robots des moteurs de recherche quelles parties du site ils peuvent explorer. Bien réglé, il évite à Google de perdre du temps sur des pages inutiles ; mal réglé, il peut faire disparaître un site entier des résultats. Voici comment il fonctionne et comment le configurer sans risque.
L’essentiel
- Le robots.txt contrôle l’exploration, pas l’indexation : une page bloquée peut quand même apparaître dans Google si d’autres sites la citent.
- Pour retirer une page des résultats, utilisez la balise
noindex, pas le robots.txt. - Sur WordPress, un fichier minimal suffit dans la plupart des cas.
- Testez toujours vos changements dans Google Search Console.
À quoi sert le fichier robots.txt
Quand un robot comme Googlebot arrive sur votre site, il lit d’abord le robots.txt. Le fichier lui dit quels répertoires ou quelles adresses il ne doit pas explorer. Cela sert à :
- éviter l’exploration de zones sans intérêt pour la recherche (administration, résultats de recherche interne, paniers) ;
- préserver les ressources du serveur sur les gros sites ;
- indiquer l’adresse du plan du site (sitemap XML).
Le robots.txt est une consigne, pas une protection : les robots respectueux la suivent, les autres l’ignorent. Il ne faut jamais l’utiliser pour cacher des informations sensibles, d’autant qu’il est lisible par tout le monde.
La syntaxe de base
| Directive | Rôle | Exemple |
|---|---|---|
User-agent | Désigne le robot concerné (* = tous) | User-agent: * |
Disallow | Interdit l’exploration d’un chemin | Disallow: /wp-admin/ |
Allow | Autorise une exception dans un chemin interdit | Allow: /wp-admin/admin-ajax.php |
Sitemap | Donne l’adresse complète du sitemap | Sitemap: https://votresite.fr/sitemap_index.xml |
Les chemins sont sensibles à la casse et se lisent depuis la racine du site. Une ligne Disallow: vide signifie « rien n’est interdit ». À l’inverse, Disallow: / interdit tout le site : c’est l’erreur la plus grave possible.
Un robots.txt adapté à WordPress
WordPress génère un robots.txt virtuel si aucun fichier n’existe. Les extensions SEO comme Yoast permettent de le modifier depuis le tableau de bord. Pour la plupart des sites, ce contenu suffit :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://votresite.fr/sitemap_index.xmlN’ajoutez pas de blocage sur /wp-content/ ou /wp-includes/ : Google a besoin des fichiers CSS et JavaScript pour afficher vos pages comme un visiteur, et en bloquer l’accès peut nuire à l’évaluation de la version mobile.
Les cas où bloquer est utile
- Résultats de recherche interne (
/?s=) : ils créent une infinité d’adresses sans valeur. - Paramètres de tri et de filtre sur une boutique (
?orderby=,?filter_) : ils multiplient les doublons. - Panier, compte client, paiement sur WooCommerce.
- Environnements de test : un site de préproduction doit être totalement bloqué, idéalement protégé par mot de passe (voir un site de staging).
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /panier/
Disallow: /mon-compte/
Sitemap: https://votresite.fr/sitemap_index.xmlrobots.txt ou noindex : ne pas confondre
C’est la confusion la plus fréquente. Si une page est bloquée dans le robots.txt, Google ne peut plus la lire, donc il ne voit pas non plus sa balise noindex. Résultat : une page que vous vouliez retirer peut rester dans l’index, avec la mention « Aucune information n’est disponible pour cette page ».
| Objectif | Bon outil |
|---|---|
| Éviter qu’une page apparaisse dans Google | Balise noindex (page laissée explorable) |
| Économiser l’exploration de zones inutiles | Disallow dans le robots.txt |
| Supprimer définitivement une page déplacée | Redirection 301 (voir notre guide de la redirection 301) |
| Protéger un contenu privé | Mot de passe ou accès restreint, jamais le robots.txt |
Les erreurs à éviter
- Laisser
Disallow: /après la mise en ligne d’un site développé en préproduction. - Cocher « Demander aux moteurs de recherche de ne pas indexer ce site » dans Réglages > Lecture de WordPress et l’oublier.
- Bloquer les fichiers CSS, JavaScript ou les images.
- Écrire une URL relative pour le sitemap : elle doit être complète, avec
https://. - Créer un fichier physique qui écrase les réglages de votre extension SEO sans le savoir.
Tester et surveiller
Après chaque modification, ouvrez votresite.fr/robots.txt dans le navigateur pour vérifier le contenu réellement servi. Dans Google Search Console, le rapport sur le fichier robots.txt (dans les paramètres) indique la version récupérée par Google et les éventuelles erreurs, et l’outil d’inspection d’URL précise si une page donnée est bloquée. Surveillez aussi le rapport d’indexation : une hausse soudaine des pages « bloquées par le fichier robots.txt » signale souvent une erreur.
Questions fréquentes
Un site a-t-il obligatoirement besoin d’un robots.txt ?
Non. Sans fichier, les robots considèrent que tout est autorisé. Il reste utile pour déclarer le sitemap et écarter les zones sans intérêt.
Le robots.txt fait-il gagner des positions ?
Pas directement. Il aide surtout Google à consacrer son exploration aux pages importantes, ce qui compte sur les sites de plusieurs milliers de pages.
Combien de temps pour qu’une modification soit prise en compte ?
Google met généralement le fichier en cache jusqu’à 24 heures ; vous pouvez demander une nouvelle lecture depuis Search Console.



