Tester l’accès réel des robots à une page

Comment utiliser l’outil

Collez l’adresse d’une page de votre site et cliquez sur « Tester ». Le serveur de nemociment.fr demande la page en se faisant passer pour un navigateur Chrome, puis pour chacun des huit robots, et l’outil compare chaque réponse à celle du navigateur. Un robot qui reçoit un code différent, une page de vérification ou un autre contenu est signalé en rouge ou en orange, avec la raison.

Testez la page d’accueil, mais aussi un article et une page de service : les règles d’un pare-feu portent parfois sur des chemins précis. Le test prend de 5 à 15 secondes selon la vitesse du site.

Ce que l’outil compare

Chaque requête suit les redirections à la main, cinq au plus, et chaque étape est revérifiée avant d’être suivie. Du corps de la page, l’outil ne garde que sa taille et son titre, puis il jette le reste. Il compare ensuite chaque robot au navigateur de référence :

• Refus : codes 401, 403, 429 ou 451, et erreurs serveur 5xx que le navigateur ne reçoit pas.
• Page de vérification : marques de Cloudflare, Anubis, Akamai, Imperva, DataDome, Sucuri et AWS WAF dans la page ou ses en-têtes.
• Redirection différente : le robot n’arrive pas à la même adresse que le navigateur, ou par un autre chemin.
• Contenu très différent : taille moitié moindre ou double, ou titre qui change, sur deux réponses en 200. La comparaison de taille est sautée quand l’une des pages dépasse la limite de lecture de 256 Kio.

Les user-agents envoyés

Chaque robot est annoncé par le nom que son éditeur documente. Le tableau donne le rôle de chacun selon l’éditeur et la source qui le décrit.

Deux précisions sur les chaînes envoyées. Le Chrome de référence et la version de Chrome qui figure dans la chaîne de Googlebot smartphone sont des valeurs de remplacement : Google publie un numéro générique « W.X.Y.Z » que son robot remplace par la version de Chromium qu’il utilise.⁴ Quant à Anthropic, son article d’aide nomme les trois robots sans donner leur chaîne complète :² l’outil envoie donc le nom documenté dans une chaîne de la même forme que celles des autres éditeurs, ce qui suffit à une règle de pare-feu qui cherche ce nom.

Google-Extended n’est pas testé. Google indique qu’il n’a pas de chaîne user-agent propre : l’exploration passe par les user-agents existants de Google, et Google-Extended n’est qu’un nom de contrôle dans le robots.txt.⁴ Il n’y a donc aucune requête à lui attribuer.

Ce que l’outil ne sait pas

La requête part du serveur de nemociment.fr, et non des adresses IP des vrais robots. Or un pare-feu peut vérifier d’où vient la visite : Cloudflare classe comme « bot vérifié » un robot dont l’identité se prouve par une signature cryptographique, par une liste d’adresses IP publiée avec un user-agent stable ou par un DNS inverse,⁵ et Perplexity conseille d’écrire sa règle de Cloudflare en combinant le nom du robot et ses plages d’adresses publiées.³ Une requête qui porte le bon nom mais part d’une autre adresse ne correspond pas à une telle règle : elle peut être traitée autrement que la vraie visite.

Les deux sens du résultat ne se valent donc pas. Un OK ne prouve pas que les vrais robots passent : le pare-feu a pu laisser entrer un faux nom et réserver un traitement différent aux vraies adresses, ou l’inverse. Un blocage prouve seulement qu’un visiteur qui se présente ainsi est bloqué, ce qui est déjà le signe d’une règle sur le user-agent. Pour voir ce qui se passe réellement, regardez les passages des vrais robots dans les journaux du serveur avec l’analyseur de journaux, et contrôlez qu’une adresse vient bien de l’éditeur avec le vérificateur d’IP de robots.

L’outil ne lit pas non plus le robots.txt : c’est le travail du test d’accès des robots IA. Un robot peut être autorisé par le robots.txt et refusé par le pare-feu, ou l’inverse, et les deux outils se complètent.

Corriger un blocage

Si un robot que vous voulez accueillir est refusé, la cause est presque toujours une règle de l’hébergeur, d’un CDN ou d’un plugin de sécurité. Sur Cloudflare, la protection des robots d’IA range ceux-ci en trois familles réglables séparément, recherche, agent et entraînement : chaque option de blocage vise les bots vérifiés de la famille et aussi les bots non vérifiés qui se comportent de la même façon.⁶ Selon la même page, les nouveaux domaines reçoivent à partir du 15 septembre 2026 un réglage par défaut qui bloque l’entraînement et les agents sur les pages avec publicité et laisse la recherche ouverte.⁶

Pour ouvrir un robot précis, Perplexity décrit une règle d’autorisation dans Cloudflare ou AWS WAF qui associe le nom du robot et ses adresses IP publiées, placée avant les règles de blocage, avec une mise à jour régulière des plages.³ Après toute modification, relancez le test et surveillez les journaux : une règle peut mettre du temps à se propager.

Pour aller plus loin

Ce test se place entre le robots.txt et les journaux. Pour la méthode complète, lisez l’article sur le référencement dans les moteurs génératifs, et regardez les en-têtes HTTP de la page quand un code inattendu apparaît.

Questions fréquentes