SEO Technique

Guide complet sur le paramétrage du fichier robots.txt pour les blogs

Un fichier de 30 lignes peut bloquer la moitié de votre blog sans aucune alerte de Google. Découvrez comment paramétrer votre robots.txt sans saboter votre SEO.

Guide complet sur le paramétrage du fichier robots.txt pour les blogs

Un fichier de 30 lignes, écrit en 2021, qui bloque silencieusement la moitié de votre blog depuis des mois. Vous ne le verrez pas dans Search Console, parce que Google n'affiche pas d'alerte quand vous lui interdisez vous-même l'accès à vos pages. Vous verrez juste des impressions qui stagnent, et vous chercherez ailleurs.

C'est l'histoire la plus banale du référencement, et pourtant presque personne ne relit son robots.txt. On l'écrit une fois, à la mise en ligne, en copiant un modèle trouvé sur un forum. Puis on l'oublie. Le fichier, lui, n'oublie rien. Il continue d'appliquer ses règles à chaque passage des robots.

Ce guide part de mon expérience : deux blogs que j'ai failli saboter avec une seule ligne de trop, et une méthode de paramétrage que j'applique maintenant systématiquement, blog personnel comme sites clients.

Points clés à retenir

  • Le robots.txt contrôle l'exploration, jamais l'indexation : une page bloquée peut rester dans les résultats.
  • Il se place obligatoirement à la racine du domaine, en texte brut, nommé exactement robots.txt.
  • Un blog a des besoins spécifiques : pagination, archives, tags, flux RSS, aperçus d'articles.
  • Bloquer le CSS et le JS casse la lecture des pages par Google. C'est l'erreur n°1.
  • Un mauvais fichier ne génère aucune alerte. Il faut le tester à la main.

Comment paramétrer le fichier robots.txt d'un blog sans se tirer une balle dans le pied

Le fichier robots.txt est un protocole d'exclusion : un texte brut déposé à la racine de votre nom de domaine, que les robots d'exploration consultent avant de parcourir le site. Il ne s'agit pas d'une recommandation, mais d'une convention que Google, Bing et les autres respectent à la lettre — quand elle est bien formée.

Où placer le fichier, et comment vérifier qu'il est lu

Tapez votredomaine.com/robots.txt dans votre navigateur. Si vous voyez votre code, il est en place. Si vous tombez sur une 404, votre fichier est mal placé — souvent dans un sous-dossier, ou nommé robot.txt au singulier. Il doit être en texte brut, sans balise HTML, sans en-tête particulier.

Sur un blog WordPress, les CMS modernes génèrent un robots.txt virtuel. Si vous uploadez un fichier physique sans désactiver cette génération, vous pouvez avoir deux versions concurrentes. Vérifiez toujours la version servie, pas votre fichier local.

La syntaxe, directive par directive

Quatre directives suffisent pour 95 % des blogs. Voici un exemple que j'utilise comme base :

  • User-agent: * — cible tous les robots
  • Disallow: /wp-admin/ — interdit l'administration (mais pas admin-ajax.php, qui sert au site en front)
  • Disallow: /?s= — bloque la recherche interne, générateur de pages infinies
  • Sitemap: https://votredomaine.com/sitemap.xml — déclare le plan du site

Les caractères génériques (joker) et $ (fin de ligne) étendent les règles. Par exemple Disallow: /?replytocom= bloque toutes les URL de réponse aux commentaires, quel que soit le préfixe.

Un fichier type pour un blog

Voici la structure que j'applique, à adapter :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*?replytocom=
Disallow: /page/
Disallow: /tag/
Disallow: /category/
Disallow: /feed/
Disallow: /preview/
Sitemap: https://votredomaine.com/sitemap.xml

Attention : bloquer /tag/ et /category/ a un effet de bord. Ces pages peuvent porter du maillage interne et des liens vers vos articles. Sur un petit blog, il vaut mieux les laisser explorer et les traiter autrement (balise canonical). Sur un gros blog avec des centaines de tags, le blocage se justifie.

Ce que robots.txt ne fait pas : la confusion qui coûte cher

Un client m'a appelé un jour, catastrophé : une page de prestation restait introuvable dans Google, malgré un blocage dans le robots.txt depuis six mois. « Je l'ai pourtant interdit », répétait-il. Il avait confondu exploration et indexation.

Ce que robots.txt ne fait pas : la confusion qui coûte cher

Le robots.txt empêche le robot de lire la page. S'il ne peut pas la lire, il ne peut pas non plus y voir la balise noindex que vous auriez mise. Résultat : la page peut rester dans l'index, avec une description obsolète, et vous ne pouvez plus la retirer par ce moyen.

Bloquer ≠ désindexer

Pour retirer une page de l'index, deux options, dans cet ordre :

  1. Mettre une balise <meta name="noindex"> ou un en-tête HTTP X-Robots-Tag: noindex, et laisser Google explorer la page le temps qu'il lise la consigne.
  2. Une fois la page retirée, alors seulement, ajouter le blocage dans le robots.txt.

Si vous bloquez d'abord, vous perdez le canal qui permet de désindexer. Le robot ne passera plus, ne lira plus rien, et la page traînera.

L'impact sur le budget de crawl

Un blog génère vite du contenu inutile à explorer : pages de recherche, combinaisons de filtres, archives par date, aperçus de brouillons. Chaque exploration consomme du temps de robot. Sur un site qui publie trois fois par semaine, ce budget se gère. Sur un site avec 5 000 pages, un mauvais robots.txt peut faire perdre plusieurs jours entre deux passages sur vos nouveaux articles.

Bloquer les pages sans valeur, c'est rediriger ce budget vers ce qui compte : vos articles.

Les cas spécifiques à un blog

Les modèles génériques — ceux qu'on trouve sur les forums — ne mentionnent presque jamais les cas propres à un blog. Voici les quatre que je contrôle systématiquement.

Les cas spécifiques à un blog

Pagination et archives : à bloquer ou pas

La pagination (/page/2/, /page/3/) crée des pages sans contenu propre, qui dupliquent partiellement les articles. Idem pour les archives par date ou par tag. Deux écoles s'affrontent :

ApprocheQuand l'utiliserEffet
Bloquer dans robots.txtGros blog, milliers de tags, budget crispéÉconomise des explorations, mais perd le maillage
Laisser explorer + canonicalPetit ou moyen blogConserve le maillage, évite la dilution
Noindex en balisePages à retirer de l'index sans bloquerReste explorable, signal direct à Google

Mon avis, et j'y tiens : sur un blog de moins de 500 articles, laissez explorer. Bloquer la pagination casse le parcours interne et vous prive d'un signal de fraîcheur. Réservez le blocage aux sites qui saturent.

Flux RSS, aperçus d'articles et commentaires

Les URL d'aperçu (?preview=true) doivent être bloquées. Elles contiennent vos brouillons, parfois accessibles sans mot de passe. Pareil pour les réponses aux commentaires (?replytocom=) : chaque commentaire génère une URL, et un article populaire peut produire des dizaines de variantes inutiles.

Pour le flux RSS, c'est un choix. Le bloquer empêche les agrégateurs de republier vos contenus sans autorisation. Le laisser ouvert favorise la diffusion. Je le laisse ouvert, mais je bloque les flux de catégories (/category/xx/feed/), qui dupliquent le flux principal.

Crawl-delay : utile ou pas ?

La directive Crawl-delay n'est pas reconnue par Google (qui fixe lui-même son rythme), mais elle l'est par Bing et d'autres robots plus modestes. Sur un petit blog hébergé sur un mutualisé, Crawl-delay: 10 peut éviter des pics de charge. Sur un blog bien hébergé, elle ne sert à rien.

Ne l'ajoutez pas par principe. Ajoutez-la si vous constatez des ralentissements lors des passages de robots.

Les erreurs que je vois le plus souvent

Trois d'entre elles suffisent à ruiner le référencement d'un blog. Je les ai toutes commises au moins une fois.

Les erreurs que je vois le plus souvent

Bloquer le CSS et le JavaScript

Une ligne Disallow: /wp-content/ ou Disallow: /assets/, et Google ne peut plus afficher vos pages correctement. Depuis des années, le robot rend la page comme un navigateur pour évaluer sa qualité. S'il ne voit pas votre mise en page, il voit un mur de texte brut.

Sur mon premier blog, cette erreur m'a coûté trois semaines de stagnation avant que je comprenne. Le diagnostic est simple : dans l'inspection d'URL de la Search Console, vérifiez si le CSS est chargé. Si la réponse est « bloqué par robots.txt », corrigez immédiatement.

Le joker trop large

Disallow: / bloque tout. Disallow: /.php$ bloque toutes les pages en PHP — donc potentiellement votre blog entier. Les règles trop générales sont les plus dangereuses parce que leur effet est immédiat et silencieux.

Le fichier absent ou mal orthographié

Un fichier en 404 n'est pas bloquant : les robots considèrent que tout est autorisé. Le vrai problème, c'est le fichier physique qui coexiste avec une version virtuelle générée par le CMS. Vous croyez avoir appliqué une règle, le CMS en sert une autre.

Testez toujours la version servie à l'adresse publique, jamais votre fichier local.

Comment tester et valider votre fichier

Trois vérifications, dans cet ordre. Ne sautez pas la première, c'est celle qui attrape le plus de bêtises.

  • Ouvrez l'URL publique et lisez le fichier tel que servi. Une relecture à froid révèle souvent une ligne de trop.
  • Utilisez l'inspection d'URL de la Search Console sur un article récent, et vérifiez que l'exploration réussit.
  • Consultez les rapports d'exploration : un pic de pages « bloquées par robots.txt » signale un incident.

Ce que j'ai appris à mes dépens : ne modifiez jamais ce fichier un vendredi après-midi. Une erreur de syntaxe ne fait pas de bruit. Elle attend sagement le lundi, quand vous vous demandez pourquoi les statistiques ne bougent plus.

Ce qui reste quand on ferme ce guide

Le robots.txt n'est pas un fichier technique que l'on configure une fois. C'est un contrat permanent entre votre blog et les robots, et il continue de s'appliquer même quand vous ne pensez plus à lui.

La règle que j'appliquerais si je devais tout recommencer : commencez par un fichier minimal, avec seulement Disallow: /wp-admin/ et la déclaration du sitemap. Ajoutez ensuite une règle par problème constaté, jamais par précaution. Chaque ligne que vous ajoutez ferme une porte que vous ne pourrez plus franchir sans vous en souvenir.

Et si une page disparaît des résultats sans explication, avant de blâmer Google, ouvrez votre robots.txt. Il y a de fortes chances que le coupable soit à l'intérieur, écrit de votre main, il y a des mois.

Fabien Gaillard

Fabien Gaillard

Fabien Gaillard est journaliste spécialisé dans le SEO technique et le link building. Depuis une quinzaine d’années, il suit les évolutions des algorithmes de recherche et les stratégies de maillage, couvrant aussi bien les problématiques de crawl que l’acquisition de liens éditoriaux. Son parcours l’a conduit à produire des analyses et des études de cas pour divers supports professionnels.

Voir tous les articles →