Résultat
| Contrôle | État | Constat et preuve |
|---|
Ce verdict décrit ce que les signaux techniques permettent ou interdisent. Seule l’inspection d’URL de la Search Console dit si la page figure réellement dans l’index de Google.
Comment utiliser l’outil
Collez l’adresse complète d’une page et cliquez sur « Tester ». L’outil interroge la page comme le ferait un navigateur, suit les redirections jusqu’à la dernière, lit le robots.txt de l’hôte d’arrivée et passe en revue tout ce qui peut retenir Google. Le verdict tombe en trois mots : indexable, non indexable avec la cause qui bloque, ou à surveiller quand rien n’interdit l’indexation mais qu’un signal peut la contrarier.
Sous le verdict, chaque contrôle montre sa preuve : le code de réponse, la balise meta telle qu’elle est écrite, l’en-tête reçu ou la ligne du robots.txt qui s’applique. Cette ligne est aussi surlignée dans le fichier, affiché en bas du résultat. L’outil lit le HTML tel que le serveur l’envoie, sans exécuter le JavaScript.
Explorer et indexer, deux étapes distinctes
Google commence par explorer une adresse, c’est-à-dire la télécharger, puis décide s’il l’ajoute à son index. Les signaux ne jouent pas au même moment. Le robots.txt agit sur la première étape : il dit au robot ce qu’il a le droit de télécharger. La règle noindex agit sur la seconde : elle demande d’exclure la page des résultats.1
La confusion entre les deux est la plus fréquente. Google écrit lui-même que le robots.txt ne sert pas à empêcher une page de figurer dans ses résultats : si d’autres pages pointent vers elle, son adresse peut apparaître, sans description.3 Pour qu’une page sorte de l’index, il faut un noindex, et ce noindex doit pouvoir être lu, donc la page ne doit pas être bloquée par le robots.txt.1
Ce que l’outil contrôle
- Code HTTP final. Une page en 2xx voit son contenu pris en compte pour l’indexation. Une erreur 4xx, sauf 429, fait sortir l’adresse de l’index ; une erreur 5xx ralentit l’exploration et, si elle dure, finit aussi par retirer l’adresse.5
- Chaîne de redirections. Les robots de Google suivent jusqu’à 10 redirections.5 Chaque étape s’affiche avec son code et sa destination. Une adresse qui redirige ne sera pas indexée elle-même : l’analyse porte sur la page d’arrivée.
- robots.txt pour Googlebot. L’outil applique les règles de la spécification de Google : groupe au nom du robot ou, à défaut, groupe « * », règle la plus longue gagnante. Un fichier absent (4xx) ne bloque rien ; une erreur 5xx fait suspendre l’exploration du site pendant 12 heures, puis Google se sert de la dernière version en cache.4
- Balises meta robots et googlebot. « noindex » et « none » excluent la page ; « unavailable_after » fixe une date à partir de laquelle elle ne s’affiche plus. Quand deux règles se contredisent, la plus restrictive s’applique.2
- En-tête X-Robots-Tag. Il a le même effet que la balise meta1 et peut viser un robot précis, par exemple « X-Robots-Tag: googlebot: noindex ».2 Seules les valeurs qui concernent Googlebot ou tous les robots comptent ici.
- Canonique. Balise
<link rel="canonical">et en-tête HTTPLink. La balise n’est acceptée que dans le<head>, et Google demande de ne pas déclarer plusieurs canoniques différentes pour une même page.6 - Type de contenu. L’en-tête Content-Type dit si la réponse est du HTML. Pour un PDF ou une image, seuls le code HTTP, le robots.txt et les en-têtes sont contrôlés.
- Texte servi. L’outil compte les mots du HTML reçu, scripts et styles retirés. En dessous de 50 mots, un seuil propre à l’outil, la page est signalée : soit elle est vide, soit son contenu est fabriqué par JavaScript.
- hreflang. Les versions linguistiques déclarées sont listées pour information : elles orientent la version affichée dans les résultats, sans décider de l’indexation.8
Les blocages qui reviennent le plus
Un noindex caché derrière le robots.txt. Une page bloquée par le robots.txt ne sera pas téléchargée : Google ne voit alors ni ses balises meta ni ses en-têtes, qui sont ignorés.2 Le noindex posé pour la sortir de l’index reste sans effet, et l’adresse peut continuer à s’afficher. L’outil le signale quand les deux sont présents ensemble.
Un noindex retiré par JavaScript. Google traite les pages en trois phases : exploration, rendu, indexation. Quand il trouve un noindex dans le HTML d’origine, il peut se passer du rendu, si bien qu’un script qui retire la balise ne garantit rien. Si la page doit être indexée, le noindex ne doit pas figurer dans le code d’origine.7
Une canonique qui pointe ailleurs. Elle n’empêche pas l’indexation au sens strict, mais elle constitue un signal fort que l’autre adresse doit devenir la version canonique.6 C’est souvent le reste d’un modèle de page copié, ou d’un module qui écrit l’adresse de la page d’accueil partout. L’outil classe ce cas « à surveiller ».
Une page vide pour qui ne lance pas le JavaScript. Google met en file d’attente de rendu les pages qui répondent 200 et exécute ensuite leur JavaScript ; un contenu absent du rendu ne peut pas être indexé. Google recommande toujours le rendu côté serveur ou le pré-rendu.7
Ce que l’outil ne peut pas savoir
Une page indexable n’est pas une page indexée. Le rapport « Indexation des pages » de la Search Console le rappelle : il ne faut pas s’attendre à ce que toutes les adresses d’un site soient indexées.9 Parmi les états qu’il affiche, plusieurs échappent à tout contrôle technique :
- Détectée, actuellement non indexée. Google connaît l’adresse mais ne l’a pas encore explorée.
- Explorée, actuellement non indexée. Google l’a téléchargée sans l’ajouter à l’index, et pourra le faire plus tard.
- Page en double : Google a choisi une autre URL canonique que l’utilisateur. La canonique déclarée est correcte, mais Google en préfère une autre.
- Erreur « soft 404 ». La page répond 200, mais son contenu ressemble à une erreur, par exemple une page vide.5
Seule l’inspection d’URL de la Search Console renseigne sur la version indexée d’une page. Son test en direct vérifie que Google-InspectionTool peut accéder à la page, et Google précise qu’aucun test ne garantit l’inclusion dans l’index ; le test ne regarde ni les sitemaps ni les pages qui font des liens.10 Le présent outil sert à trouver vite un blocage technique, sur n’importe quelle page, y compris celles d’un site dont vous n’avez pas les accès.
Après le test
Une page indexable doit encore être trouvée. Les liens internes et le sitemap s’en chargent ; ce que Google dit aujourd’hui du sitemap XML aide à savoir ce qu’il faut y mettre et ce qui ne sert à rien. Si le blocage vient du robots.txt, l’outil d’accès des robots IA applique le même fichier à GPTBot, ClaudeBot, PerplexityBot et aux autres robots des moteurs génératifs. Et quand plusieurs dizaines de pages restent hors de l’index sans cause visible, c’est le moment d’un audit SEO complet, qui croise les rapports de la Search Console, l’exploration du site et ses journaux serveur.
Questions fréquentes
Quelle différence entre une page bloquée par le robots.txt et une page en noindex ?
Le robots.txt interdit à Google de télécharger la page ; il ne l’empêche pas d’apparaître dans les résultats, sans description, si des liens y mènent. Le noindex autorise la lecture mais demande d’exclure la page des résultats. Pour sortir une page de Google, c’est le noindex qu’il faut, sur une page laissée ouverte au robots.txt.
Pourquoi ma page est-elle indexée alors que le robots.txt la bloque ?
Parce que Google peut indexer l’adresse grâce aux liens qui pointent vers elle, sans lire la page. La Search Console range ce cas parmi les avertissements, sous « Indexée malgré le blocage par le fichier robots.txt ». Pour la retirer, il faut lever le blocage et poser un noindex.
Une balise canonique vers une autre page empêche-t-elle l’indexation ?
Pas formellement. Google la traite comme un signal fort et reste libre de choisir une autre version. En pratique, la page qui désigne une autre adresse comme canonique a peu de chances d’être celle qui s’affiche. Quand la page désignée est indexée, le rapport d’indexation range la première sous « Autre page avec balise canonique correcte ».
L’outil exécute-t-il le JavaScript de la page ?
Non. Il lit le HTML tel que le serveur l’envoie, comme Google lors de l’exploration, avant le rendu. Une page qui affiche son texte par JavaScript sera donc signalée comme quasi vide : Google pourra peut-être la lire après le rendu ; l’inspection d’URL de la Search Console dit si elle a été indexée.
La page est indexable selon l’outil mais absente de Google : pourquoi ?
Indexable veut dire que rien ne l’interdit. Google peut ne pas avoir encore exploré l’adresse, l’avoir explorée sans la retenir, ou avoir choisi une autre version comme canonique. L’inspection d’URL de la Search Console donne l’état réel de la page et la raison affichée par Google.
L’outil teste-t-il les autres moteurs de recherche ?
Non. Les règles appliquées sont celles que Google documente pour Googlebot. Les autres moteurs lisent aussi le robots.txt et le noindex, avec leurs propres règles de détail. Pour les robots d’IA, l’outil d’accès des robots IA teste 23 noms de robots sur le même fichier.
Sources
Les passages de cette page qui s’appuient sur une source renvoient à l’une de ces références.
- Google Search Central, « Bloquer l’indexation dans la recherche avec noindex ». developers.google.com ↑
- Google Search Central, « Spécifications de la balise meta robots, de data-nosnippet et de X-Robots-Tag ». developers.google.com ↑
- Google Search Central, « Présentation des fichiers robots.txt ». developers.google.com ↑
- Google, spécification du fichier robots.txt. developers.google.com ↑
- Google Search Central, « Effets des codes d’état HTTP et des erreurs réseau et DNS sur la recherche Google ». developers.google.com ↑
- Google Search Central, « Indiquer une URL canonique avec rel="canonical" et d’autres méthodes ». developers.google.com ↑
- Google Search Central, « Comprendre les principes de base du SEO JavaScript ». developers.google.com ↑
- Google Search Central, « Versions localisées de vos pages ». developers.google.com ↑
- Aide Search Console, « Rapport sur l’indexation des pages ». support.google.com ↑
- Aide Search Console, « Outil d’inspection d’URL ». support.google.com ↑