Le fichier robots.txt est la première chose qu'un robot lit en arrivant sur votre site : il déclare quelles URL chaque crawler peut ou ne peut pas demander. C'est un levier puissant du SEO technique, mais aussi le plus mal compris — car bloquer le crawl n'a jamais empêché une page d'être indexée. Comprendre cette nuance évite les erreurs les plus coûteuses.
Ce que fait — et ne fait pas — le robots.txt
Le fichier robots.txt applique le Robot Exclusion Protocol : il indique aux crawlers quelles URL (ouvre un nouvel onglet) ils peuvent demander sur votre site. Comme le résume Moz, un robot le vérifie d'abord (ouvre un nouvel onglet) avant toute requête. Son rôle premier : gérer le trafic d'exploration pour ne pas surcharger le serveur.
Gérer le trafic, pas exclure de l'index
Sans accès, une page n'existe pas pour la recherche : la crawlabilité est la condition d'entrée de tout le reste. Mais attention au glissement de sens — Google précise qu'un robots.txt sert surtout à éviter la surcharge (ouvre un nouvel onglet), et que « ce n'est pas un mécanisme pour garder une page hors de Google ». Pour exclure de l'index, il faut un noindex ou une protection par mot de passe.
La confusion à éviter
robots.txt = contrôle du crawl. noindex = contrôle de l'indexation. Ce sont deux outils distincts, agissant à deux étapes différentes. Les confondre est l'erreur SEO la plus fréquente.
Disallow bloque le crawl, pas l'indexation
C'est le point clé à ne pas rater. La directive Disallow empêche un bot d'accéder à une URL ou un répertoire — mais elle ne pilote pas l'indexation (ouvre un nouvel onglet). Pour cela, ce sont les meta robots ou l'en-tête X-Robots-Tag qui agissent, sur la page elle-même.
Pourquoi une page bloquée reste indexable
Si d'autres sites pointent vers une URL bloquée, Google peut l'indexer quand même (ouvre un nouvel onglet) : l'adresse, et parfois le texte d'ancrage des liens, peuvent apparaître dans les résultats — sans description, puisque le contenu n'a jamais été crawlé. Le blocage est ainsi contourné par les backlinks externes.
Le piège : un noindex exige une page crawlable
Conséquence redoutable : pour que noindex fonctionne, la page ne doit pas être bloquée (ouvre un nouvel onglet) par robots.txt. Si le robot ne peut pas accéder à la page, il ne lit jamais la balise noindex — et la page peut rester indexée via ses liens. Bloquer ET noindexer en même temps revient donc à neutraliser le noindex.
| Directive | Rôle | Exemple |
|---|---|---|
| User-agent | Cible un robot précis (* = tous) | User-agent: Googlebot |
| Disallow | Bloque le crawl d'une URL ou d'un répertoire | Disallow: /panier/ |
| Allow | Autorise une exception dans un dossier bloqué | Allow: /panier/aide.html |
| Sitemap | Indique l'emplacement du plan de site XML | Sitemap: https://exemple.com/sitemap.xml |
À retenir
Pour empêcher l'exploration : robots.txt. Pour empêcher l'indexation : noindex, sur une page laissée crawlable. Voir la nuance complète dans l'indexation.
Bien s'en servir : médias, sitemap et crawl budget
Utilisé à bon escient, robots.txt reste un outil stratégique. Google recommande d'y recourir pour gérer le trafic d'exploration (ouvre un nouvel onglet) et empêcher images, vidéos et fichiers audio d'apparaître dans les résultats — sans empêcher d'autres sites de lier directement ces fichiers.
Pointer vers le sitemap XML
La directive Sitemap oriente les crawlers vers le plan (ouvre un nouvel onglet) de site, ce qui dirige les bots vers les pages prioritaires et améliore l'allocation du budget d'exploration. Elle est reconnue par Google, Bing, Ask et Yahoo. À combiner avec un bon sitemap XML.
Exclure les sections sans valeur du crawl
Disallow est le moyen le plus direct d'éviter à Googlebot de crawler des pages peu importantes (ouvre un nouvel onglet) (calendriers, facettes, filtres). C'est un réflexe utile pour préserver le crawl budget. Rappel : cela ne désindexe pas une URL liée depuis l'extérieur.
Subtilité de budget : pour une URL à ne jamais crawler, robots.txt est le seul outil efficace. Google déconseille le noindex dans ce cas, car il télécharge la page, puis la rejette (ouvre un nouvel onglet) — gaspillant du temps de crawl pour rien.
À retenir
robots.txt brille pour orienter le crawl (sitemap, sections à éviter, médias hors résultats). Il échoue dès qu'on lui demande de désindexer. Choisissez l'outil selon l'étape visée.
Les erreurs qui cassent un site
robots.txt est un levier dangereux : mal manipulé, il dégrade la crawlabilité des pages pourtant non bloquées, voire de tout le site.
Ne jamais bloquer le CSS ni le JavaScript
Si des fichiers CSS, JS ou images sont nécessaires au rendu, les bloquer empêche Google de comprendre la page. Quand un site cache des composants importants (ouvre un nouvel onglet), Google « pourrait ne pas comprendre vos pages », et celles-ci risquent de ne pas se classer. Moz est catégorique : ne bloquez ni CSS ni JavaScript (ouvre un nouvel onglet).
Une faute de frappe peut tout bloquer
Un slash mal placé peut empêcher les robots de crawler une partie du site. Yoast prévient : une petite erreur bloque le crawl (ouvre un nouvel onglet), et l'on bloque parfois sans le vouloir ses propres fichiers CSS et JS. Sa gestion doit être confiée à un développeur ou maîtrisée en profondeur.
Une convention volontaire, pas une barrière
Les instructions du robots.txt ne s'imposent pas aux crawlers (ouvre un nouvel onglet) : Googlebot et les robots respectables les obéissent, mais rien n'oblige un crawler malveillant à le faire. Pour protéger des informations sensibles, il faut une protection par mot de passe côté serveur, jamais robots.txt seul.
Trois réflexes de sécurité
1. Vérifiez que CSS et JS restent accessibles. 2. Testez chaque règle avant publication — une ligne de trop peut désindexer le site. 3. N'attendez pas du robots.txt qu'il cache du contenu sensible : c'est un panneau de signalisation, pas une serrure.
robots.txt et les bots IA
Avec l'essor des moteurs IA, robots.txt devient le point de contrôle des crawlers d'entraînement et de recherche. Il est techniquement possible d'y bloquer GPTBot, ClaudeBot ou PerplexityBot — de nombreux éditeurs de presse l'ont fait, GPTBot étant le bot le plus bloqué (ouvre un nouvel onglet). Voir aussi les crawlers et l'opt-out IA.
Entraînement et recherche : deux réglages distincts
OpenAI sépare deux usages par deux tags : GPTBot pour l'entraînement des modèles, OAI-SearchBot pour la recherche. Chaque réglage est indépendant (ouvre un nouvel onglet) : on peut autoriser OAI-SearchBot pour rester visible tout en bloquant GPTBot. Bloquer l'entraînement ne ferme donc pas la porte à la visibilité en recherche IA — une distinction qu'Anthropic a rendue plus granulaire (ouvre un nouvel onglet) avec ses trois bots Claude. D'ailleurs, l'analyse Hostinger montre que la couverture du crawler de recherche grimpe (ouvre un nouvel onglet) pendant que celle du crawler d'entraînement chute.
Les fetchers déclenchés par l'utilisateur
Attention à une limite majeure : quand une visite est initiée par un utilisateur (question dans ChatGPT, action d'un Custom GPT), les règles robots.txt peuvent ne pas s'appliquer (ouvre un nouvel onglet). De même, parce que la requête vient d'un utilisateur, Perplexity-User ignore généralement le robots.txt (ouvre un nouvel onglet). Bloquer ce trafic n'empêche donc pas la récupération d'une page citée dans une réponse — Anthropic adoptant ici une ligne différente de ses concurrents (ouvre un nouvel onglet).
Crawl-delay : ignoré par Googlebot
La directive crawl-delay vise à ralentir les robots entre deux requêtes. Mais Googlebot ne la respecte pas (ouvre un nouvel onglet). Pour piloter la fréquence de crawl de Googlebot, on passe par le réglage de débit dans Google Search Console.
À retenir
Face aux bots IA, robots.txt sépare entraînement et recherche — mais ne tient pas les fetchers déclenchés par un humain. C'est un outil de signal, pas de blocage absolu.
Questions fréquentes
robots.txt bloque-t-il vraiment l'indexation d'une page ?
Non. robots.txt empêche le crawl, pas l'indexation. Google peut indexer une URL bloquée si d'autres pages y pointent — il sait qu'elle existe sans en connaître le contenu. Pour empêcher l'indexation, il faut un noindex (meta robots ou X-Robots-Tag), sur une page restée crawlable (ouvre un nouvel onglet).
Peut-on utiliser robots.txt pour cacher une page de Google ?
Non. robots.txt contrôle l'accès des robots, pas l'indexation. Une page bloquée peut quand même apparaître dans les résultats si des liens externes pointent vers elle. Pour exclure une page de l'index, utilisez la balise noindex ou la protection par mot de passe (ouvre un nouvel onglet).
Puis-je bloquer les robots IA via robots.txt ?
Oui, par des Disallow ciblés (GPTBot, ClaudeBot, PerplexityBot). Mais tous ne l'honorent pas pareil (ouvre un nouvel onglet), et les fetchers déclenchés par un utilisateur ignorent souvent ces règles (ouvre un nouvel onglet). Pensez aussi à séparer crawl d'entraînement et crawl de recherche.
Sources
- Google Search Central — Introduction au fichier robots.txt (ouvre un nouvel onglet)
- Google Search Central — Exploration et indexation (ouvre un nouvel onglet)
- Google Search Central — Bloquer l'indexation (noindex) (ouvre un nouvel onglet)
- Google Search Central — Guide de démarrage SEO (ouvre un nouvel onglet)
- Google Search Central — Fonctionnement de la recherche (ouvre un nouvel onglet)
- Google Search Central — Gérer le crawl budget (ouvre un nouvel onglet)
- Moz — Robots.txt (ouvre un nouvel onglet)
- Yoast — What is technical SEO? (ouvre un nouvel onglet)
- OpenAI — Overview of OpenAI Crawlers (ouvre un nouvel onglet)
- Perplexity — PerplexityBot and crawlers (ouvre un nouvel onglet)
- Search Engine Journal — Claude bots and robots.txt (ouvre un nouvel onglet)
- Search Engine Journal — OpenAI search crawler coverage (ouvre un nouvel onglet)