Le fichier de log serveur est le seul endroit où vous voyez Googlebot tel qu'il agit vraiment : quelles pages il demande, quand, et à quelle fréquence. Là où les outils d'analytics restent muets sur les robots, le log dit la vérité brute. C'est l'instrument de terrain du SEO technique pour vérifier comment un site est réellement exploré.
Pourquoi les logs : voir ce que l'analytics ne voit pas
Google Analytics est puissant, mais n'enregistre pas les robots (ouvre un nouvel onglet) des moteurs de recherche. Le comportement de Googlebot — quand il passe, ce qu'il demande — n'apparaît donc nulle part dans vos rapports de trafic. Le fichier de log serveur, lui, journalise chaque requête HTTP : date, contenu demandé, code de réponse et adresse IP de l'appelant.
C'est cette information directe, prise à la source, qui fait du log l'instrument privilégié pour comprendre l'exploration. Il complète ainsi le diagnostic mené dans la page sur l'indexation, en montrant l'étape qui la précède : le crawl réel.
Le log, source de vérité
Contrairement à un simulateur de crawl, le log ne modélise rien : il rapporte ce qui s'est réellement produit sur votre serveur. C'est la différence entre une carte et le terrain.
Ce que révèlent les logs sur le crawl
En filtrant les logs par robot, on détermine si, quand et quoi (ouvre un nouvel onglet) a été crawlé. On voit alors comment le crawl budget est dépensé et quels obstacles bloquent l'accès des robots. Un minimum de trois semaines de données est recommandé pour obtenir une image fiable, et non un instantané trompeur.
| Ce que le log montre | Question SEO à laquelle il répond |
|---|---|
| Pages les plus crawlées | Googlebot concentre-t-il son budget sur l'important ? |
| Pages jamais demandées | Ai-je des pages orphelines ou inaccessibles ? |
| Codes de réponse (404, 301, 5xx) | Le robot gaspille-t-il du budget sur des erreurs ? |
| Fréquence de passage de Googlebot | Le taux de crawl monte-t-il ou chute-t-il dans le temps ? |
Une chute du taux de crawl, signal de dévaluation
Quand les classements chutent, le taux de crawl des pages ou du domaine baisse souvent en parallèle. Comme l'observe Kevin Indig, analyser les logs est un bon moyen de vérifier (ouvre un nouvel onglet) s'il s'agit bien d'une dévaluation plutôt que d'autre chose. Surtout, le log permet de dater précisément la chute — et donc de la corréler à un update algorithmique ou à un changement opéré sur le site.
La crawlabilité, condition d'entrée
Si un robot ne peut pas atteindre une page — bloquée par robots.txt, orpheline, ou prise dans une boucle de redirection —, elle n'existe pas pour la recherche. La crawlabilité est la condition d'entrée de tout le reste : un bot lit d'abord le robots.txt (ouvre un nouvel onglet) pour savoir où il peut aller. Le log est précisément l'outil qui révèle, page par page, ce que le robot a pu atteindre.
Gérer l'inventaire d'URL, la principale levée d'action
L'inventaire d'URL est, selon Google, le facteur que vous contrôlez le plus (ouvre un nouvel onglet) sur la demande de crawl. Concrètement : consolider le contenu dupliqué, bloquer via robots.txt les URL sans valeur (pagination infinie, variantes de tri), retourner 404/410 sur les pages supprimées, éliminer les soft 404, tenir le sitemap à jour avec lastmod, et éviter les longues chaînes de redirections. Le log sert à vérifier que ces actions portent : on y voit le budget se réallouer vers les pages utiles.
Filtrer et fiabiliser : isoler le vrai Googlebot
Un fichier de log brut mélange tout le trafic. La première étape est d'en extraire les seules lignes de Googlebot. Sur un gros fichier, une regex sur la plage IP (ouvre un nouvel onglet) 66.249 passée à grep isole ces lignes en quelques minutes et réduit le fichier d'environ 90 %. On peut aussi filtrer par user-agent, mais ce dernier critère ouvre une faille.
Vérifier Googlebot par reverse DNS
N'importe qui peut se faire passer pour Googlebot en changeant sa chaîne user-agent. Lors d'une analyse de logs, il faut donc exclure les fausses requêtes (ouvre un nouvel onglet). La méthode officielle de Google consiste à vérifier l'IP par reverse DNS, puis à confirmer par un forward DNS — c'est ce qui distingue le vrai robot d'un usurpateur. Filtrer directement par l'IP qui commence par 66.249 (ouvre un nouvel onglet) est la première barrière simple contre l'usurpation.
Outils pour aller plus loin
Pour croiser les logs avec un crawl du site et repérer pages crawlées mais sans valeur ou pages utiles ignorées, un analyseur de logs dédié facilite le travail. Côté Google, le rapport Statistiques d'exploration de la Search Console donne une vue agrégée du crawl, utile en complément du log brut. Voir aussi l'audit SEO pour intégrer ces signaux.
Questions fréquentes
Pourquoi ne pas simplement utiliser Google Analytics pour le crawl ?
Parce que l'analytics ne capte pas la plupart des robots (ouvre un nouvel onglet). Le comportement de Googlebot — fréquence, pages demandées, codes de réponse — n'apparaît que dans les logs serveur, qui journalisent chaque requête HTTP à la source.
Faut-il filtrer Googlebot par IP ou par user-agent ?
Par IP de préférence. Le user-agent se falsifie en une seconde (ouvre un nouvel onglet). On filtre d'abord sur la plage 66.249, puis on confirme les requêtes par reverse DNS et forward DNS selon la méthode de Google pour exclure les usurpateurs.
Combien de temps de logs faut-il analyser ?
Au moins trois semaines. En deçà, on risque un instantané trompeur : une seule journée atypique fausse la lecture de la fréquence de passage et du budget de crawl réellement dépensé.
Sources
- Search Engine Journal — Python SEO data reference guide (ouvre un nouvel onglet)
- HubSpot — The technical SEO guide (ouvre un nouvel onglet)
- Onely — Ultimate guide to crawl budget (ouvre un nouvel onglet)
- Onely — Principles of regular expressions for SEO (ouvre un nouvel onglet)
- Google Search Central — Crawling and indexing (ouvre un nouvel onglet)
- Google Search Central — Gérer le crawl budget des grands sites (ouvre un nouvel onglet)
- Moz — Robots.txt (ouvre un nouvel onglet)