Tester l’accès des robots IA à votre site

Comment utiliser l’outil

Collez l’adresse d’une page de votre site et cliquez sur « Tester ». L’outil va chercher le fichier robots.txt à la racine du site, applique ses règles au chemin de la page et affiche, robot par robot, s’il est autorisé ou bloqué. La colonne de droite cite la ligne du fichier qui décide ; ces lignes sont aussi surlignées dans le fichier, affiché sous le tableau.

Le résultat vaut pour la page indiquée : un robots.txt peut ouvrir le blog et fermer l’espace client, il faut donc tester les pages qui comptent. Pour vérifier une modification avant de la mettre en ligne, ouvrez « Tester un robots.txt avant de le publier », collez le nouveau contenu et le chemin d’une page : l’analyse se fait alors dans votre navigateur, sans rien envoyer.

Quatre familles de robots

Les éditeurs d’IA ne lâchent pas un seul robot sur le Web. La plupart en utilisent plusieurs, chacun avec son nom dans le robots.txt, et chaque nom se règle séparément. OpenAI le dit en toutes lettres : un site peut autoriser OAI-SearchBot pour apparaître dans les résultats de recherche de ChatGPT tout en refusant GPTBot, pour que ses contenus ne servent pas à entraîner les modèles.¹

• Entraînement. GPTBot, ClaudeBot, Meta-ExternalAgent, MistralAI-Training ou Amazonbot collectent des pages qui peuvent servir à entraîner des modèles. Google-Extended et Applebot-Extended fonctionnent autrement : ce sont des noms de contrôle, sans robot propre, qui disent à Google² et à Apple³ si le contenu déjà exploré peut servir à leurs modèles.
• Recherche et réponses. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Meta-WebIndexer, MistralAI-Index, Amzn-SearchBot ou DuckAssistBot indexent des pages pour les citer dans les réponses de leur moteur. C’est la famille qui compte pour le GEO.
• Visite à la demande. ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, Amzn-User ou MistralAI-User ouvrent une page parce qu’un utilisateur vient de poser une question qui l’exige.
• Archive ouverte. CCBot alimente Common Crawl, une archive du Web que n’importe qui peut télécharger et analyser.

Les 23 robots testés

La liste et les rôles viennent de la documentation de chaque éditeur, relue le 16 octobre 2026.

Refuser l’entraînement sans disparaître des réponses

C’est le réglage le plus demandé, et il tient en quelques lignes. Chaque robot d’entraînement reçoit son propre groupe, et le groupe « * » reste ouvert pour les autres :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
Disallow: /

User-agent: *
Allow: /

Les robots de recherche ne sont pas nommés : ils suivent le groupe « * » et restent autorisés. Fermer l’un d’eux a des effets que les éditeurs décrivent eux-mêmes. Selon OpenAI, un site qui refuse OAI-SearchBot n’apparaît plus dans les réponses de recherche de ChatGPT, sauf sous forme de lien de navigation.¹ Anthropic prévient qu’un refus de Claude-SearchBot peut réduire la visibilité du site dans les résultats,⁴ et Perplexity recommande d’autoriser PerplexityBot pour y figurer.⁵

Google fonctionne à part. Google-Extended n’a aucun effet sur l’inclusion dans la recherche Google ni sur le classement.² Les aperçus IA et le Mode IA font partie de la recherche : c’est Googlebot qui en commande l’accès, et Google renvoie aux balises nosnippet, data-nosnippet, max-snippet et noindex pour limiter ce qui est repris.⁶ Bloquer Googlebot pour se tenir à l’écart des aperçus IA reviendrait à sortir de Google tout court.

Comment un robot lit votre robots.txt

L’outil applique les règles que Google décrit dans sa spécification du robots.txt, qui reprend le protocole d’exclusion des robots normalisé en RFC 9309.¹²

• Un seul groupe par robot. Le robot cherche un groupe qui porte son nom. S’il en trouve, il ignore le groupe « * » ; sinon, c’est le groupe « * » qui s’applique. Plusieurs groupes au même nom sont fusionnés, et plusieurs lignes User-agent qui se suivent partagent les mêmes règles.
• La règle la plus longue gagne. Entre « Allow: /blog/ » et « Disallow: / », c’est la première qui s’applique à /blog/article, parce qu’elle est plus précise. À longueur égale, Allow l’emporte.
• Deux jokers. « * » remplace n’importe quelle suite de caractères et « $ » marque la fin de l’adresse : « Disallow: /*.pdf$ » bloque les PDF, pas les pages dont l’adresse contient « .pdf? ».
• Casse. Les noms de champs et de robots ne tiennent pas compte des majuscules, les chemins si : « /Blog/ » et « /blog/ » sont deux règles différentes.
• Fichier absent ou en erreur. Une réponse 404 ou une autre erreur 4xx, sauf 429, vaut absence de fichier : rien n’est bloqué. Une erreur serveur 5xx fait au contraire suspendre l’exploration par Google. Au-delà de cinq redirections, le fichier est considéré comme absent, et seuls ses 500 premiers Kio sont lus.¹²

Ce que le robots.txt ne garantit pas

Le robots.txt est une consigne, pas un verrou. Les robots qui agissent à la demande d’un utilisateur sont les premiers à s’en affranchir, et leurs éditeurs l’écrivent : OpenAI indique que les règles du robots.txt peuvent ne pas s’appliquer à ChatGPT-User,¹ Perplexity que Perplexity-User les ignore en général,⁵ Meta que Meta-ExternalFetcher peut les contourner,⁷ Amazon qu’Amzn-User peut ne pas toutes les suivre.⁸ L’outil le signale quand l’un d’eux est bloqué.

À l’inverse, un robot autorisé par le robots.txt peut être refusé plus tôt, par l’hébergeur ou par un pare-feu applicatif. Google rappelle que l’exploration doit être permise par le robots.txt et par toute l’infrastructure d’hébergement,⁶ et Perplexity explique comment ouvrir ses robots dans les règles de Cloudflare ou d’AWS.⁵ Ces blocages-là ne se voient pas dans le robots.txt : seuls les journaux du serveur les montrent.

Enfin, le nom d’un robot peut être usurpé. OpenAI, Perplexity, Amazon, Common Crawl et DuckDuckGo publient les adresses IP de leurs robots,^{1, 5, 8, 11, 10} et Apple et Google permettent de les vérifier par une recherche DNS inverse.^{3, 2} Une visite qui se présente comme GPTBot depuis une autre adresse ne vient pas d’OpenAI.

Robots IA et GEO

Une page que les robots de recherche ne peuvent pas lire ne sera pas citée dans les réponses de ChatGPT, de Claude ou de Perplexity. Le contrôle du robots.txt est donc la première étape du référencement dans les moteurs génératifs, avant tout travail sur le contenu. Côté Google, les règles sont celles de la recherche classique, et les liens que le Mode IA et les aperçus IA donnent vers les sites dépendent d’abord de l’exploration par Googlebot. Une fois l’accès vérifié, il reste à soigner ce que ces moteurs affichent de vos pages, en commençant par la longueur du title et de la meta description.

Questions fréquentes