Analyser ses journaux serveur : Googlebot et robots IA

Comment utiliser l’outil

Récupérez le journal d’accès de votre site dans l’espace de votre hébergeur ou sur le serveur, puis déposez-le dans la zone ci-dessus, tel quel ou compressé en .gz, et cliquez sur « Analyser ». Pour un essai rapide, ouvrez « Coller des lignes à la place ». La lecture se fait au fil du fichier : un journal de plusieurs centaines de mégaoctets passe, simplement plus lentement.

Le résultat range chaque robot reconnu : nombre de requêtes, part vérifiée par son adresse IP, part d’erreurs 4xx et 5xx, dernier passage. Viennent ensuite le détail de Googlebot (version smartphone, passages par jour, pages les plus explorées, erreurs servies), les lectures du robots.txt, du sitemap et du llms.txt par chaque robot, et la liste des faux robots.

Ce que contient un journal d’accès

Chaque ligne décrit une requête reçue par le serveur. Dans le format « common » d’Apache, elle donne l’adresse du client, la date, la ligne de requête avec la méthode et l’adresse demandée, le code de réponse et la taille envoyée. Le format « combined » ajoute la page d’origine et le user-agent, le nom que se donne le client.¹ Le format « combined » de nginx a la même forme.²

C’est la seule trace complète de ce que les robots font sur un site : chaque passage y figure, sur chaque adresse, avec le code renvoyé. La Search Console donne une vue d’ensemble côté Google ; le journal montre aussi Bing, les robots d’IA et ceux qui se font passer pour eux.

Reconnaître les robots, et les vrais

Un robot se reconnaît d’abord à son user-agent : Google publie celui de Googlebot pour smartphone et pour ordinateur, ainsi que les noms de ses autres robots, de Googlebot-Image à Google-InspectionTool.³ OpenAI, Anthropic et Perplexity publient de même les noms des leurs.⁶⁷⁸ Google précise que Google-Extended n’a pas de user-agent propre : il ne se voit jamais dans un journal, ses règles passent par les robots existants.³

Un user-agent se recopie librement. L’outil vérifie donc l’adresse de chaque requête dans les listes d’adresses publiées par les éditeurs, celles du vérificateur d’IP de robots : Google, Microsoft, OpenAI, Anthropic, Perplexity, Apple, Common Crawl, DuckDuckGo et Amazon. Google présente cette comparaison aux plages publiées comme une façon de vérifier ses robots.⁴ Une requête qui se dit Googlebot depuis une autre adresse est comptée comme fausse et sortie des statistiques du vrai Googlebot. Les robots dont l’éditeur ne publie pas de liste, comme Meta, Mistral AI ou les outils SEO, sont signalés « non vérifiables ».

Ce qu’il faut regarder

Les erreurs servies à Googlebot. Google indique qu’un code 404 ou 410 sur une page supprimée est un signal fort pour cesser de la réexplorer, qu’une page en soft 404 continue d’être explorée et gaspille le budget d’exploration, et que des erreurs serveur 5xx font baisser la capacité d’exploration accordée au site.⁵ Une liste d’adresses en 404 que Googlebot visite souvent mérite des redirections ou un nettoyage des liens qui y mènent.

Les pages les plus explorées. Elles disent où Googlebot passe son temps. Des adresses à paramètres, des pages de filtres ou de vieux contenus en tête du classement peuvent signaler un maillage ou un sitemap à revoir, tout comme des pages importantes qui en sont absentes.

Les robots d’IA. Le tableau montre si GPTBot, OAI-SearchBot, ClaudeBot ou PerplexityBot passent vraiment, et la colonne des fichiers de contrôle s’ils lisent le robots.txt, le sitemap ou le llms.txt. C’est la façon la plus directe de vérifier ce que le robots.txt leur autorise en pratique.

Ce que l’outil ne voit pas

L’outil lit les formats Apache et nginx « common » et « combined ». Un format personnalisé, un journal IIS ou un export JSON ne sont pas reconnus : les lignes illisibles sont comptées et une ligne d’exemple est affichée. Sans user-agent, au format « common », aucun robot ne peut être reconnu.

Derrière un CDN ou un proxy, l’adresse notée est celle du proxy et non celle du robot, comme le rappelle la documentation d’Apache :¹ la vérification par adresse ne fonctionne alors plus, et tous les robots vérifiables paraîtront faux. Les classements suivent 20 000 adresses distinctes par robot au plus. Le journal n’est envoyé nulle part ; seule la récupération des listes d’adresses compte pour une requête, sur un quota de 20 par tranche de 10 minutes.

Après l’analyse

Une adresse suspecte se vérifie aussi une à une, avec son DNS inverse, dans le vérificateur d’IP de robots. Les erreurs servies à Googlebot se corrigent souvent par des redirections, à contrôler ensuite avec le vérificateur de redirections. La lecture régulière des journaux fait partie de l’audit SEO technique que je mène pour mes clients, comme le détaille la checklist pour auditer son site.

Questions fréquentes