Contrôle de la visibilité dans la recherche IA (crawlers & opt-out)

robots.txt, Google-Extended, les bots d'OpenAI, d'Anthropic et de Perplexity, et les contrôles de snippet décident d'une chose : si votre contenu nourrit l'entraînement d'un modèle, s'il est récupéré en direct, ou s'il est cité. Google le dit clairement, robots.txt gère l'accès Googlebot (ouvre un nouvel onglet), tandis que les contrôles de snippet limitent ce qui s'affiche. Choisir, c'est arbitrer entre protéger son contenu et rester citable.

Le pivot à comprendre est la différence entre deux usages. L'entraînement ingère du contenu pour enseigner au modèle des patterns et des connaissances générales, sans attribution. Le grounding (RAG) récupère du contenu pertinent au moment de générer une réponse, pour assurer l'exactitude et fournir des citations. Google traite le grounding séparément de l'entraînement (ouvre un nouvel onglet). Vos contrôles d'opt-out doivent donc viser le bon usage, sinon ils ratent leur cible.

Chaque fournisseur publie ses chaînes user-agent. La règle générale : les bots de recherche se positionnent aux côtés de Googlebot et Bingbot, pas des crawlers d'entraînement. Bloquer le bot de recherche (Claude-SearchBot, OAI-SearchBot) retire le site de l'indexation IA et réduit sa visibilité dans les réponses (ouvre un nouvel onglet).

La stratégie de blocage massif adoptée en 2024 ne fonctionne plus comme avant. Search Engine Journal le formule sans détour : « block AI crawlers » ne marche plus (ouvre un nouvel onglet) de la même façon. Bloquer ClaudeBot stoppe la collecte d'entraînement mais ne fait rien contre Claude-SearchBot ou Claude-User. Un robots.txt stratégique exige désormais des entrées séparées par usage.

L'ampleur de l'erreur est mesurable. Une étude BuzzStream relevée par SEJ montre que 79 % des grands sites d'actualité (ouvre un nouvel onglet) bloquent au moins un bot d'entraînement — mais 71 % bloquent aussi un bot de recherche ou de récupération, se retirant au passage des citations en recherche IA. Le marché corrige : selon une analyse Hostinger, la couverture du crawler de recherche (ouvre un nouvel onglet) d'OpenAI est passée de 4,7 % à plus de 55 % des sites, tandis que celle de son crawler d'entraînement chutait de 84 % à 12 %.

Google-Extended est un contrôle distinct du référencement. Google explique l'avoir introduit pour laisser un site gérer l'usage d'entraînement Gemini (ouvre un nouvel onglet) sans affecter son affichage dans Search. C'est un opt-out d'entraînement, pas un opt-out de recherche.

Le piège : bloquer Google-Extended n'empêche pas l'apparition en AI Overviews. Google a explicitement déclaré que ce contrôle ne régit pas les AI Overviews ni AI Mode (ouvre un nouvel onglet), car ces fonctionnalités utilisent le grounding, que Google traite à part de l'entraînement. La gestion technique de ces directives relève de l'optimisation technique pour l'IA.

En attendant un opt-out granulaire, le contrôle de snippet est l'arme la plus fine — et la plus brutale. Glenn Gabe raconte avoir ajouté un nosnippet via la balise meta robots (ouvre un nouvel onglet) : quelques heures plus tard, son contenu disparaissait de l'AI Overview. Le hic : la même balise retire aussi le texte descriptif des résultats organiques classiques.

Le coût est documenté. La CMA britannique, citant une étude Google, note qu'utiliser nosnippet pour sortir des AIO réduit le trafic — jusqu'à 45 % (ouvre un nouvel onglet) dans une mesure antérieure aux produits IA, car les éditeurs perdent le preview qui génère les clics. Accepter l'usage en AIO ou perdre le snippet : un choix impossible.