Générateur de robots.txt et testeur d’adresse

Comment utiliser l’outil

Le générateur se remplit au fil de vos choix. Indiquez si tout le site reste ouvert, ajoutez les dossiers ou les adresses à fermer, cochez les robots d’IA que vous ne voulez pas voir passer et donnez l’adresse de votre sitemap. Le fichier se compose en dessous, avec des alertes quand un choix risque de vous coûter de la visibilité : un site entièrement bloqué, un chemin mal écrit, des robots de recherche d’IA exclus. Copiez-le ou téléchargez-le, puis déposez-le à la racine de votre site.

Le testeur répond à une question précise : tel robot a-t-il le droit d’explorer telle adresse ? Collez une adresse complète pour qu’il lise le robots.txt du site, ou choisissez de tester le fichier que vous venez de générer ou de coller. Il affiche le verdict, le groupe de règles retenu, la ligne qui décide et les lignes que Google ignore, avec le fichier numéroté en dessous. Le fichier lu en ligne est recopié dans la zone de texte : vous pouvez le modifier et relancer le test pour vérifier un changement avant de le publier.

À quoi sert un robots.txt

Le robots.txt indique aux robots d’exploration les adresses auxquelles ils peuvent accéder sur votre site. Son objectif principal est d’éviter de surcharger le site de demandes.¹ Il sert aussi à écarter de l’exploration des pages sans intérêt pour la recherche : résultats de recherche interne, paniers, pages filtrées en série.

Il ne sert pas à faire disparaître une page de Google. Une adresse bloquée peut quand même être indexée si d’autres pages pointent vers elle ; elle apparaît alors sans description. Pour retirer une page des résultats, Google recommande la balise noindex, la protection par mot de passe ou la suppression de la page. Et pour que noindex fonctionne, la page ne doit justement pas être bloquée dans le robots.txt : sinon le robot ne voit jamais la balise.²

Le fichier reste une consigne : Googlebot et les robots sérieux la suivent, d’autres peuvent l’ignorer. Ce qui doit rester privé se protège côté serveur.

Où placer le fichier et comment l’écrire

Les règles de base viennent de la documentation de Google sur la création d’un robots.txt :³

• le fichier s’appelle robots.txt et se place à la racine du site, par exemple https://www.exemple.fr/robots.txt ; un site n’en a qu’un ;
• il ne vaut que pour le protocole, l’hôte et le port où il est publié : celui de https://exemple.fr ne s’applique ni à https://m.exemple.fr ni à http://exemple.fr ;
• c’est un fichier texte encodé en UTF-8, à écrire dans un éditeur de texte simple plutôt qu’un traitement de texte, qui ajoute des guillemets courbes et d’autres caractères parasites ;
• Google lit les 500 premiers kibioctets et ignore la suite.⁴

Le fichier se compose de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, qui désignent les robots concernés, suivies de règles Disallow (interdire) et Allow (autoriser). Les chemins commencent par « / » et respectent la casse : /Admin/ et /admin/ sont deux chemins différents. Les lignes Sitemap, elles, se placent n’importe où et donnent l’adresse complète d’un sitemap, ce qui aide les robots à trouver vos pages, comme l’explique notre point sur ce que Google dit du sitemap XML.

User-agent: *
Disallow: /panier/
Disallow: /*?tri=
Allow: /panier/aide/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://www.exemple.fr/sitemap.xml

Dans cet exemple, tous les robots peuvent explorer le site sauf le panier, dont la page d’aide reste ouverte, et les listes triées. GPTBot et CCBot, réunis dans un même groupe, sont exclus de tout le site.

Comment un robot choisit la règle qui s’applique

C’est la partie que l’outil calcule pour vous, en suivant la spécification de Google :⁴

• Un seul groupe par robot. Le robot retient le groupe qui porte son nom. S’il en trouve plusieurs, il les fusionne. S’il n’en trouve aucun, il suit le groupe « * ». Il n’applique jamais les deux à la fois : un robot nommé dans son propre groupe ignore les règles de « * ».
• La famille Googlebot. Googlebot-Image ou Googlebot-Video suivent le groupe Googlebot quand aucun groupe ne porte leur nom exact.
• La règle la plus longue l’emporte. Entre « Disallow: / » et « Allow: /blog/ », c’est la seconde qui vaut pour /blog/article. À longueur égale, Google choisit la règle la moins restrictive, donc Allow.
• Deux caractères spéciaux. « * » remplace n’importe quelle suite de caractères ; « $ » placé à la fin impose que l’adresse s’arrête là. « Disallow: /*.pdf$ » bloque tous les PDF, et seulement eux.
• Une règle vide ne bloque rien. « Disallow: » sans chemin autorise tout.

Ce que Google ignore

Google ne prend en compte que quatre champs : user-agent, allow, disallow et sitemap. Crawl-delay, très répandu, n’est pas accepté ;⁴ d’autres robots, comme ClaudeBot selon Anthropic, le respectent.⁵ Google ignore aussi les lignes mal formées et les règles placées avant la première ligne User-agent ; le testeur les liste pour que vous puissiez les corriger. Enfin, Google garde généralement le fichier en cache pendant 24 heures : une modification n’est pas prise en compte instantanément.⁴

Quand le fichier ne peut pas être lu, tout dépend de la réponse du serveur. Une erreur 4xx, la 404 en tête, revient pour Google à l’absence de fichier : aucune restriction. Une erreur 5xx l’amène au contraire à suspendre l’exploration du site, puis à réessayer. Au-delà de cinq redirections, le fichier est considéré comme absent.⁴

Bloquer les robots d’IA

Les éditeurs d’IA publient chacun leurs robots, et la plupart en distinguent plusieurs selon l’usage. OpenAI sépare GPTBot, qui collecte des contenus pour entraîner ses modèles, d’OAI-SearchBot, qui fait apparaître les sites dans la recherche de ChatGPT ; les deux réglages sont indépendants.⁶ Bloquer GPTBot n’empêche donc pas d’être cité dans ChatGPT, alors que bloquer OAI-SearchBot retire le site de ses réponses de recherche.

Chez Google, Google-Extended décide si les contenus servent à entraîner Gemini et à ancrer ses réponses ; il n’a aucun effet sur la recherche Google. Les aperçus IA et le Mode IA, eux, dépendent de Googlebot, comme le reste de la recherche.⁷ Le générateur range donc les robots d’IA en trois familles : entraînement, recherche et réponses, visites à la demande. Ces derniers agissent quand un utilisateur demande à l’IA de consulter une page, et plusieurs éditeurs, dont OpenAI et Perplexity, indiquent qu’ils peuvent ne pas appliquer le robots.txt dans ce cas.^{6, 8} Ce choix pèse directement sur votre visibilité dans les moteurs génératifs.

Les erreurs les plus fréquentes

• Le « Disallow: / » oublié après une mise en ligne. Pratique en préproduction, il bloque tout le site une fois publié. C’est un point à contrôler en priorité lors d’une refonte de site.
• Bloquer une page pour la sortir de Google. Elle peut rester indexée, sans description ; et si elle porte un noindex, Google ne le verra pas.
• Bloquer les fichiers CSS et JavaScript. Google déconseille de bloquer les ressources dont il a besoin pour comprendre une page.¹
• Oublier qu’un groupe nommé remplace « * ». Si vous créez un groupe pour Googlebot, les interdictions générales ne s’appliquent plus à lui : il faut les répéter dans son groupe.
• Un chemin sans « / » au début, ou une majuscule de trop : la règle ne vise pas ce que vous croyez.

Questions fréquentes