Le budget de crawl, c'est le nombre d'URL que Googlebot peut et veut explorer sur votre site. Tant qu'une page n'est pas crawlée, elle n'existe pas pour Google : pas d'index, pas de position, pas de trafic. Sur les grands sites, chaque ressource gaspillée sur du contenu sans valeur est une page importante qui ne sera pas vue. Comprendre ce levier, c'est maîtriser la première marche du SEO technique.
Ce qu'est le budget de crawl, et pourquoi il compte
Le crawl budget est le nombre d'URL que Googlebot peut et veut crawler (ouvre un nouvel onglet) sur un site. Sa logique est implacable : si une page n'est pas crawlée, elle n'est ni indexée ni affichée. C'est la condition d'entrée absolue au référencement, en amont de tout — et un prérequis de la crawlabilité.
Deux composantes : capacité et demande
Google explique que le budget est déterminé par deux éléments (ouvre un nouvel onglet) : la crawl capacity limit (ce que Google peut allouer sans surcharger le serveur) et la crawl demand (l'intérêt qu'il porte à vos URL). Même si la limite de capacité n'est pas atteinte, une demande faible se traduit par moins de crawl.
La crawl capacity limit s'ajuste en continu selon la santé du serveur : si le site répond vite, la limite monte (ouvre un nouvel onglet) ; s'il ralentit ou renvoie des erreurs 500, elle baisse et Google crawle moins. Le débit de crawl épouse donc la vitesse de réponse.
La crawl demand, elle, dépend de trois facteurs : l'inventaire perçu (toutes les URL connues, doublons compris), la popularité (selon Onely, PageRank et taux de vues combinés (ouvre un nouvel onglet)) et la fraîcheur. L'inventaire est, de loin, le facteur que vous contrôlez le plus (ouvre un nouvel onglet).
À retenir
Le crawl budget n'est pas un réglage : c'est le résultat de ce que votre serveur supporte et de l'intérêt que Google porte à vos pages. Vous agissez surtout sur la demande, en tenant votre inventaire d'URL propre.
Qui doit s'en soucier (et qui peut l'ignorer)
Bonne nouvelle pour la plupart des sites : la gestion active du budget de crawl est un guide avancé (ouvre un nouvel onglet), pensé pour les grands sites (1 million+ de pages changeant chaque semaine), les sites moyens à contenu très rapidement changeant (10 000+ pages mises à jour quotidiennement), ou tout site avec beaucoup d'URL « Discovered – currently not indexed » dans la Search Console. Pour un petit site stable, un sitemap à jour et un œil sur la couverture suffisent.
Le seuil pratique ? D'après le terrain d'Onely, au-delà de 100 000 URL (ouvre un nouvel onglet), les problèmes de crawl sont quasi certains. Et attention : un site « petit » en apparence peut cacher des dizaines de milliers d'URL via la navigation à facettes ou un bug de CMS.
Le grand levier : nettoyer l'inventaire d'URL
Puisque l'inventaire perçu est le facteur le plus contrôlable, c'est là que tout se joue. Sans guidage, Google crawle tout ce qu'il connaît (ouvre un nouvel onglet) : s'il s'agit en grande partie de doublons ou d'URL inutiles, vous gaspillez son temps. Concrètement : consolider les doublons, bloquer les URL sans valeur, retourner 404/410 sur les pages supprimées, tenir le sitemap à jour, éviter les longues chaînes de redirections.
Les doublons coûtent double
Chaque page dupliquée occupe une place dans la file de crawl — et impose une requête supplémentaire (ouvre un nouvel onglet) pour la comparer à son canonical. Le budget est donc gaspillé deux fois : la visite inutile, puis la validation. À grande échelle, le crawl budget part en doublons (ouvre un nouvel onglet). Voir la gestion du contenu dupliqué.
La parade : la canonicalisation. En désignant l'URL de référence parmi des versions dupliquées, on évite un crawl excessif (ouvre un nouvel onglet). Google le confirme : la page canonique est crawlée le plus souvent (ouvre un nouvel onglet), les doublons beaucoup moins.
Redirections : chaque saut est une requête de plus
À chaque URL redirigée, Googlebot doit envoyer une requête de plus pour atteindre la destination. 500 redirections internes = 1 000 pages à crawler (ouvre un nouvel onglet). Les chaînes aggravent le problème, et Google n'en suit qu'un nombre limité avant d'abandonner. Corrigez les liens internes pour pointer directement vers la cible finale.
404 / 410 : le signal d'arrêt du recrawl
Pour une page supprimée, le bon réflexe est de renvoyer un code 404 ou 410. Google ne l'oublie pas instantanément, mais un 404 est un signal fort (ouvre un nouvel onglet) pour ne plus la recrawler. À l'inverse, une URL simplement bloquée par robots.txt reste dans la file de crawl bien plus longtemps.
La profondeur dilue l'équité de lien
La profondeur de crawl, c'est le nombre de clics pour atteindre une page depuis l'accueil. Plus elle est grande, plus l'équité de lien se dilue (ouvre un nouvel onglet) : les pages très profondes peinent à se classer, et Google peut même ne jamais les découvrir. Une architecture plate remonte les pages importantes vers la surface.
À retenir
Doublons, redirections en cascade, pages mortes mal gérées, pages enfouies : autant de fuites de budget. Chaque requête économisée sur du sans-valeur est une requête de plus pour vos pages stratégiques.
Le piège des facettes : un trou noir à budget
La navigation à facettes est la cause numéro un d'explosion de l'inventaire. Quand chaque combinaison de filtres génère une URL crawlable, on crée un crawler trap : les bots se retrouvent coincés à crawler des combinaisons infinies (ouvre un nouvel onglet). Botify cite un site e-commerce de moins de 200 000 fiches produits où plus de 500 millions de pages (ouvre un nouvel onglet) étaient accessibles.
Ahrefs y voit un cas d'école de crawler trap (ouvre un nouvel onglet) : un nombre quasi infini d'URL sans valeur, qui gaspille massivement le budget même sur un site de quelques milliers de pages. C'est l'enjeu central du SEO e-commerce.
La parade : Disallow les facettes en robots.txt
Pour les pages à facettes, interdire via robots.txt est le meilleur moyen (ouvre un nouvel onglet) de gérer le budget. Une règle comme « Disallow: *price=* » empêche le crawl de toute URL portant ce paramètre. Le robots.txt est ici l'outil le plus direct.
Attention au noindex sur les facettes
Un noindex retire bien la page de l'index, mais si les bots trouvent et crawlent ces liens, ils continuent de consommer du budget. Pour les URL à ne jamais crawler, le blocage robots.txt prime sur le noindex.
Robots.txt bloque, noindex gaspille : ne pas confondre
C'est la confusion la plus coûteuse. Bloquer une URL en robots.txt empêche Google de la fetcher. Un noindex, lui, laisse Google télécharger la page (ouvre un nouvel onglet), constater la directive, puis la rejeter — en consommant du budget pour rien. Pour les URL à ne jamais crawler, robots.txt est le seul outil efficace.
| Outil | Agit sur | Effet sur le crawl budget |
|---|---|---|
| robots.txt (Disallow) | Empêche le crawl de l'URL | Préserve le budget — Google ne fetch pas la page |
| meta robots / X-Robots-Tag noindex | Empêche l'indexation, pas le crawl | Gaspille le budget — la page est quand même téléchargée |
| canonical | Désigne l'URL de référence | Réduit le crawl des doublons (indice, pas directive) |
Exclure les sections à faible valeur
La directive Disallow est le moyen le plus direct d'empêcher Googlebot de gaspiller son temps sur des pages similaires (ouvre un nouvel onglet) ou peu importantes (calendriers, filtres, pages de tri). Mais attention : bloquer une URL ne l'empêche pas d'être indexée si elle reçoit des liens externes — pour l'exclure de l'index, c'est le noindex qu'il faut, sur une page restée crawlable.
Crawl-delay : ignoré par Googlebot
La directive crawl-delay du robots.txt prétend espacer les requêtes des bots. Mais Googlebot ne la respecte pas (ouvre un nouvel onglet). Pour piloter le débit de crawl de Googlebot, il faut passer par le réglage dédié dans Google Search Console.
Rappel utile : le robots.txt est une convention volontaire. Googlebot et les crawleurs respectables l'obéissent, mais rien n'y oblige les autres (ouvre un nouvel onglet). Pour protéger de l'information sensible, c'est une protection par mot de passe qu'il faut, pas un robots.txt.
Orienter le budget : sitemap, vitesse et diagnostic
Une fois les fuites colmatées, il reste à diriger le budget vers les bonnes pages. Le crawl budget vise les pages et ressources crawlées (ouvre un nouvel onglet) : assurez-vous que CSS et JS sont accessibles, surveillez les URL dynamiques qui font exploser le compte, élaguez le contenu obsolète.
Le sitemap XML : la feuille de route du crawl
En listant explicitement les URL importantes, le sitemap XML aide Googlebot à prioriser les pages à valeur (ouvre un nouvel onglet). Gary Illyes estimait que ~80 % de la découverte passe par les liens (ouvre un nouvel onglet), le reste par les sitemaps.
Selon Google, le sitemap est l'une des façons de découvrir les pages (ouvre un nouvel onglet), la deuxième après les liens. Idéalement, un maillage interne solide suffit ; mais comme peu de sites sont parfaitement liés (ouvre un nouvel onglet), le sitemap reste un filet de sécurité — à ne remplir que d'URL indexables. Pensez aussi aux pages orphelines.
La vitesse amplifie la capacité de crawl
La vitesse agit directement sur la capacité : si Google charge vos pages plus vite, il en lit davantage (ouvre un nouvel onglet) dans le même laps de temps. Un serveur réactif autorise plus de connexions simultanées, donc plus de crawl et une exploration plus efficace (ouvre un nouvel onglet).
Vérifier ce que Googlebot fait vraiment : les logs
Les outils d'analyse ignorent souvent les bots ; les fichiers de log serveur, eux, révèlent si, quand et quoi a été crawlé (ouvre un nouvel onglet). On filtre par agent utilisateur — ou mieux, par IP en 66.249.x.x (ouvre un nouvel onglet) pour éviter les usurpations. Au moins trois semaines de données donnent une image fiable. C'est tout l'objet de l'analyse de logs, complétée par le rapport Statistiques d'exploration de Google Search Console.
À retenir
Sitemap propre pour pointer le budget, serveur rapide pour l'étirer, logs pour vérifier le résultat : ce trio transforme un budget de crawl subi en budget piloté.
Questions fréquentes
Mon site a 500 pages : dois-je me soucier du crawl budget ?
Probablement pas. Google réserve la gestion active du budget aux grands sites et aux sites très changeants (ouvre un nouvel onglet). Vérifiez toutefois que la navigation à facettes ou un CMS ne génère pas des milliers d'URL cachées : un site « petit » peut en réalité en exposer des dizaines de milliers.
Pour économiser du budget, je mets noindex ou Disallow ?
Disallow en robots.txt si l'objectif est d'empêcher le crawl : Google ne fetch pas la page. Un noindex laisse Google télécharger la page (ouvre un nouvel onglet) avant de la rejeter, ce qui consomme du budget. Le noindex sert à exclure de l'index, pas à protéger le budget.
Comment savoir si Googlebot gaspille mon budget ?
Croisez le rapport Statistiques d'exploration de Google Search Console avec vos fichiers de log serveur, qui montrent les URL réellement crawlées (ouvre un nouvel onglet). Si Googlebot passe son temps sur des paramètres, des doublons ou des facettes, le budget fuit.
Sources
- Google Search Central — Gérer le budget de crawl (grands sites) (ouvre un nouvel onglet)
- Google Search Central — Fonctionnement de la recherche (ouvre un nouvel onglet)
- Google Search Central — Introduction au fichier robots.txt (ouvre un nouvel onglet)
- Google Search Central — Canonicalisation (ouvre un nouvel onglet)
- Google Search Central — Exploration et indexation (ouvre un nouvel onglet)
- Google Search Central — À propos des sitemaps (ouvre un nouvel onglet)
- Onely — Ultimate Guide to Crawl Budget (ouvre un nouvel onglet)
- Oncrawl — Optimize your XML sitemap (ouvre un nouvel onglet)
- Botify — Faceted navigation and SEO (ouvre un nouvel onglet)
- Ahrefs — Faceted navigation and SEO (ouvre un nouvel onglet)
- Search Engine Journal — Faceted navigation (ouvre un nouvel onglet)
- Moz — Robots.txt (ouvre un nouvel onglet)
- HubSpot — Technical SEO guide (ouvre un nouvel onglet)
- Sitebulb — Internal link optimisation (ouvre un nouvel onglet)
- Backlinko — Duplicate content (ouvre un nouvel onglet)
- Yoast — What is technical SEO? (ouvre un nouvel onglet)