L'indexation est l'étape où Google décide de stocker votre page dans son index — la condition sans laquelle aucune position, aucun trafic n'est possible. Pourtant rien n'y oblige le moteur : une page peut être parfaite et rester invisible. Comprendre ce qui se joue entre l'exploration et l'affichage est la base de tout le SEO technique.
Crawl, index, classement : trois étapes, trois filtres
Google décrit son fonctionnement en trois phases successives, et chacune agit comme un filtre : toutes les pages ne passent pas (ouvre un nouvel onglet).
- 1
Exploration (crawl)
Googlebot suit les liens et lit le contenu des pages qu'il atteint. - 2
Indexation
Google analyse la page et décide — ou non — de la stocker dans son index. - 3
Classement (serving)
Parmi les pages indexées, Google choisit lesquelles afficher pour une requête.
Le préalable : être trouvé et lu
Pour apparaître dans la recherche, Google doit trouver et lire (ouvre un nouvel onglet) la page. Comme le résume Moz, sans accès des moteurs, rien d'autre ne compte (ouvre un nouvel onglet). La findabilité se prépare donc dès la publication, pas après coup.
On distingue deux qualités d'une page : sa crawlabilité (peut-elle être atteinte ?) et son indexabilité (mérite-t-elle d'être stockée ?). L'une ne garantit jamais l'autre.
Rien n'est garanti
Point crucial : respecter toutes les bonnes pratiques ne garantit ni index ni affichage (ouvre un nouvel onglet). Google le répète : l'indexation n'est jamais garantie (ouvre un nouvel onglet).
À retenir
Être indexé n'est pas être visible : une page peut rester dans l'index sans jamais se classer (observé par SE Ranking (ouvre un nouvel onglet)). L'indexation ouvre la porte ; le classement décide qui entre. Pour la suite, voir le fonctionnement de la recherche.
Se faire découvrir : liens, sitemaps, pages orphelines
Les liens internes, autoroute de la découverte
Google suit surtout les liens (ouvre un nouvel onglet) pour trouver de nouvelles pages. Les liens internes sont donc l'autoroute de la découverte. À l'inverse, une page orpheline — sans lien entrant — devient presque invisible pour Google (ouvre un nouvel onglet) et privée de PageRank.
Le sitemap XML : un appoint, pas une garantie
Le sitemap XML complète les liens : il oriente le crawl vers l'important (ouvre un nouvel onglet) (le suivi de liens reste majoritaire). Mais un sitemap ne garantit pas l'indexation (ouvre un nouvel onglet).
Un bon sitemap ne liste que des URL indexables : ni 404, ni noindex, ni doublons (ouvre un nouvel onglet).
Diagnostiquer l'indexation
En segmentant le sitemap par type (ouvre un nouvel onglet), on isole les problèmes. C'est l'intérêt du rapport Sitemaps de Google Search Console : suivre les URL valides et exclues (ouvre un nouvel onglet). Au niveau du serveur, voir l'analyse de logs.
Google indexe volontiers des domaines neufs, même en contenu IA : une expérience a relevé un taux d'indexation de ~71 % (ouvre un nouvel onglet). L'indexation est ouverte ; c'est la valeur de recherche qui manque.
À retenir
La découverte repose d'abord sur les liens internes ; le sitemap n'est qu'un coup de pouce. Aucun des deux ne force l'indexation — ils la rendent seulement possible. Reliez vos pages importantes et tenez votre sitemap propre.
Crawl n'est pas index : le piège robots.txt vs noindex
C'est la confusion la plus coûteuse en SEO. Le robots.txt contrôle le crawl ; les meta robots, l'indexation (ouvre un nouvel onglet). Bloquer le crawl n'empêche donc pas l'indexation.
| Outil | Agit sur | Empêche l'indexation ? |
|---|---|---|
| robots.txt (Disallow) | L'exploration (le crawl) | Non — une URL bloquée reste indexable via des liens externes |
| meta robots / X-Robots-Tag noindex | L'indexation de la page | Oui — à condition que la page reste crawlable |
| canonical | Le choix de l'URL de référence | Indirectement — c'est un indice, pas une directive |
Pourquoi bloquer le crawl ne suffit pas
Une URL bloquée reste indexable (ouvre un nouvel onglet) si d'autres pages pointent vers elle — son adresse peut alors apparaître dans les résultats. Pour vraiment retirer une page, on utilise la directive meta robots (ouvre un nouvel onglet) : explorer, mais ne pas indexer.
D'où le piège fondamental : un noindex exige une page crawlable (ouvre un nouvel onglet). Sinon le robot ne voit jamais la directive, et la page reste indexée.
Implémenter un noindex
Le noindex s'écrit de deux façons : meta ou en-tête (ouvre un nouvel onglet) (l'en-tête X-Robots-Tag est pratique pour les PDF). Son effet n'est pas immédiat : Google doit re-crawler la page (ouvre un nouvel onglet), ce qui peut prendre des semaines.
Deux réflexes qui évitent des dégâts
1. Ne pas noindexer une page qui reçoit des liens de valeur : préférez une redirection permanente (ouvre un nouvel onglet).
2. Sur une page de navigation, utilisez « noindex, follow » plutôt que « noindex, nofollow », pour préserver le PageRank (ouvre un nouvel onglet) à travers les liens. Voir aussi le crawl budget.
Un <head> valide, sinon vos directives sont ignorées
Vos balises canonical, meta robots et titres ne servent à rien si le <head> contient des erreurs : un balisage invalide perturbe vos métadonnées (ouvre un nouvel onglet).
La mécanique est brutale : dès le premier élément invalide, Google cesse de lire le <head> (ouvre un nouvel onglet). Une directive noindex placée après peut donc être ignorée.
La parade : si un élément invalide est inévitable, placez-le après les balises essentielles (ouvre un nouvel onglet).
À retenir
Validez le <head> et placez vos balises critiques (canonical, meta robots) en tête : une seule erreur de balisage en amont peut les rendre invisibles à Google.
Duplication et canonical : désigner la bonne URL
Quand le même contenu existe sous plusieurs URL, Google n'en indexe qu'une (ouvre un nouvel onglet). La balise canonical sert à désigner soi-même cette page de référence.
Ce que fait vraiment le canonical
Le canonical consolide les signaux des doublons (ouvre un nouvel onglet) vers l'URL indexée, au lieu de les disperser. Et la page canonique évalue le contenu (ouvre un nouvel onglet) — c'est elle que Google retient.
Un indice, pas une directive
Attention : le canonical est un indice (ouvre un nouvel onglet), pas une directive — Google peut l'ignorer. Erreur classique : pointer vers une URL bloquée (ouvre un nouvel onglet) ou en noindex, ce qui envoie des signaux contradictoires.
Le coût du contenu dupliqué
Laisser traîner des doublons coûte cher : Google peut refuser de les indexer (ouvre un nouvel onglet). Et forcé de choisir, il peut retenir la mauvaise URL (ouvre un nouvel onglet).
Canonical, noindex, ou ne rien faire ?
L'arbitrage dépend de l'unicité et de la valeur des pages. Un cas de Search Engine Journal montre qu'en retirant des noindex inutiles (ouvre un nouvel onglet), les positions ont bondi : canonical pour consolider des quasi-doublons utiles, noindex pour exclure le sans-valeur, parfois ne rien faire. Détails chez Women in Tech SEO (ouvre un nouvel onglet) ; pour les boutiques, le SEO e-commerce.
L'hygiène de l'index : éviter l'index bloat
L'index bloat, c'est quand les moteurs indexent des pages sans valeur (ouvre un nouvel onglet) (filtres, paginations, paramètres). Ahrefs note que trop de pages faibles nuisent (ouvre un nouvel onglet) à la perception du site. L'objectif n'est pas de tout indexer, mais d'indexer ce qui le mérite — un élagage continu, appuyé sur le crawl budget et la gestion des doublons.
Questions fréquentes
Peut-on mettre noindex dans le robots.txt ?
Non. Le robots.txt contrôle le crawl, pas l'indexation. La seule façon fiable est la directive noindex (meta ou X-Robots-Tag), sur une page crawlable (ouvre un nouvel onglet). Bloquer dans robots.txt empêche même Google de voir le noindex.
Mon noindex est en place mais la page reste dans Google — que faire ?
Le plus souvent, Google n'a pas re-crawlé la page (ouvre un nouvel onglet) depuis l'ajout de la règle. Vérifiez aussi qu'elle n'est pas bloquée par robots.txt, et inspectez l'URL dans Google Search Console.
Ma directive noindex peut-elle être ignorée à cause d'un HTML invalide ?
Oui. Si un élément invalide précède votre balise, Google cesse de lire le <head> (ouvre un nouvel onglet) : le noindex placé après est ignoré. Validez le <head> et placez les directives critiques en tête.
Sources
- Google Search Central — Fonctionnement de la recherche (ouvre un nouvel onglet)
- Google Search Central — Search Essentials (ouvre un nouvel onglet)
- Google Search Central — Guide de démarrage SEO (ouvre un nouvel onglet)
- Google Search Central — Bloquer l'indexation (noindex) (ouvre un nouvel onglet)
- Google Search Central — Introduction au fichier robots.txt (ouvre un nouvel onglet)
- Google Search Central — Canonicalisation (ouvre un nouvel onglet)
- Google Search Central — À propos des sitemaps (ouvre un nouvel onglet)
- Google Search Central — Métadonnées de page valides (ouvre un nouvel onglet)
- Google Search — Contenu dupliqué (ouvre un nouvel onglet)
- Moz — Canonicalization (ouvre un nouvel onglet)
- Moz — Robots.txt (ouvre un nouvel onglet)
- Moz — Beginner's Guide to SEO (ouvre un nouvel onglet)
- Ahrefs — Faceted navigation and SEO (ouvre un nouvel onglet)
- Ahrefs — Internal links for SEO (ouvre un nouvel onglet)
- Search Engine Journal — XML sitemap best practices (ouvre un nouvel onglet)
- Search Engine Journal — Canonicalize, noindex, or do nothing (ouvre un nouvel onglet)
- Yoast — What is technical SEO? (ouvre un nouvel onglet)
- Backlinko — Duplicate content (ouvre un nouvel onglet)
- Oncrawl — Optimize your XML sitemap (ouvre un nouvel onglet)
- SE Ranking — AI content indexing experiment (ouvre un nouvel onglet)
- Women in Tech SEO — Canonicalization in detail (ouvre un nouvel onglet)