Qu'est-ce qu'une analyse de logs en SEO ?
À chaque requête reçue, d’un internaute ou d’un robot, le serveur en garde une trace : qui est venu, quand, sur quelle adresse. Ces traces sont enregistrées dans un fichier de logs. Ce que comprend concrètement un fichier logs :
- l'adresse IP et le user-agent, qui identifient le visiteur ou le robot ;
- l'horodatage précis de la requête ;
- l'URL demandée ;
- le code HTTP renvoyé (200, 301, 404…) ;
- le poids de la réponse et, selon la configuration, le temps de traitement.
Voici un exemple simplifié de ligne de log :
L’analyse de logs consiste donc à étudier les fichiers logs pour comprendre comment les robots des moteurs de recherche parcourent le site : quelles pages ils consultent, à quel rythme, et s’ils rencontrent des obstacles techniques.
Pourquoi l'analyse de logs est indispensable pour votre SEO ?
En SEO, l'analyse de logs est essentiel : elle donne vision complète de la manière dont les moteurs explorent le site web, et de ce qui les freine. Concrètement, elle permet :
- Vérifier les pages réellement crawlées : identifier quelles URLs Googlebot, Bingbot ou les crawlers IA visitent, à quelle fréquence, et celles qu’ils ignorent ou n’atteignent jamais.
- Optimiser le budget de crawl : repérer les URLs à faible valeur SEO (paramètres, filtres, doublons, pages obsolètes) qui consomment inutilement les ressources d’exploration, et réorienter le crawl vers les pages stratégiques
- Détecter les erreurs techniques : suivre les codes de réponse (404, 5xx, redirections) et identifier les pages cassées ou les régressions serveur avant qu’elles n’impactent le trafic
- Analyser la profondeur et la structure : mesurer le taux d’exploration selon la profondeur des pages, les sections ou les templates, pour repérer les zones mal maillées ou difficilement accessibles
- Identifier les pages orphelines : repérer les URLs encore crawlées alors qu’aucun lien interne ne pointe vers elles, signe d’un maillage défaillant
- Valider les migrations et les mises à jour : suivre en temps réel le comportement des bots lors d’une refonte ou d’une migration, et corriger rapidement les problèmes de redirections ou d’indexation
- Surveiller les crawlers IA : au-delà de Google, identifier comment les systèmes d’IA générative explorent le site, un enjeu croissant pour la visibilité dans les moteurs conversationnels
- Mesurer la performance serveur : analyser le temps de réponse et le poids des documents pour détecter les ralentissements qui freinent l’exploration
Méthodologie pour réaliser un audit de logs
Réaliser un audit de logs est crucial pour identifier ce qui empêche le SEO de performer : les budgets crawl gaspillés, les pages stratégiques délaissées par les robots, les erreurs serveur...
Dans cette section, découvrez comment réaliser un audit de logs pour ensuite établir un plan d'actions priorisé et pensé avec stratégie.
Étape 1 - Filtrer les bots
Un fichier de logs brut mélange tout : internautes, scrapers, outils de surveillance, et faux robots qui se font passer pour Googlebot. La première étape consiste donc à ne garder que les robots légitimes.
Pour identifier les vrais bots, il faut vérifier l'adresse IP de chaque bot, par une résolution DNS inverse ou en la comparant aux plages publiées par Google et les autres moteurs de recherche.
Il est également utile de distinguer le robot mobile du robot desktop, puisque Google explore aujourd'hui l'essentiel du web avec son agent mobile.
Les crawlers IA, eux, méritent un segment dédié. Ce tri est indispensable : sans lui, toute l'analyse SEO qui suit serait faussée.
Étape 2 - Segmenter vos URL par typologie de contenu
Une fois les robots filtrés, il faut regrouper les URLs par rôle : pages catégories, fiches produits, articles de blog, pages institutionnelles, URLs à paramètres...
Pourquoi est-ce indispensable ? Parce qu'une moyenne globale ne dit rien. Chaque type de page a ses propres besoins : un article d'actualité doit être crawlé vite, une page institutionnelle peut l'être plus rarement. La segmentation permet de voir immédiatement où le crawl se concentre et où il manque. Par exemple, sur un site e-commerce, on peut découvrir que les filtres de navigation reçoivent plus de crawl que les fiches produits elles-mêmes.
Étape 3 - Croiser les logs avec vos données de crawl et de trafic
Chaque source apporte des informations différentes. Les logs disent ce que les robots ont exploré. Le crawl du site dit quelles pages existent et comment elles sont reliées. Les données de trafic disent quelles pages rapportent.
C'est en rapprochant ces trois sources que le diagnostic devient utile.
C'est à ce moment de l'analyse que l'on apprend à interpréter ce que l'on voit, et que l'on passe de l'observation à l'action.
Étape 4 - Identifier les pages orphelines et les contenus dupliqués
Analyser les logs pour identifier cette typologie de pages est crucial. Chaque hit de Googlebot sur une orpheline ou un doublon est un hit en moins sur une fiche produit ou un article récent, qui sera découvert ou mis à jour plus tard. Les doublons posent un second problème : les liens et la popularité se répartissent entre plusieurs versions d'un même contenu, au lieu de se concentrer sur une seule. Google doit alors choisir laquelle afficher, et ne retient pas toujours la bonne. Résultat : des positions plus faibles qu'elles ne pourraient l'être, sans qu'aucune erreur visible ne l'explique.
Étape 5 - Prioriser les corrections techniques à forte valeur ajoutée
Un audit qui livre deux cents recommandations n'est pas actionnable. L'objectif est d'identifier les quelques actions qui auront le plus d'effet. Il faut donc les prioriser selon deux critères :
- leur impact sur le crawl et la performance SEO des pages stratégiques
- l'effort qu'elles demandent aux équipes techniques
Les meilleures corrections sont souvent les plus simples. Bloquer des paramètres inutiles dans le fichier robots.txt, corriger une chaîne de redirections ou ajouter des liens vers une catégorie délaissée : ces actions légères suffisent souvent à optimiser le budget de crawl. Ce sont aussi, en général, les plus rentables pour le référencement.
Les indicateurs clés à surveiller dans vos logs
Les logs contiennent une masse d'informations. Pour en tirer un diagnostic SEO, seules certaines d'entre elles sont intéressantes.
La fréquence de passage des bots par typologie de page
C'est l'indicateur de base de toute analyse de logs. On divise le nombre de hits d'un segment par le nombre de pages de ce segment. On obtient ainsi une fréquence de crawl moyenne, qui montre comment le moteur hiérarchise les contenus.
Une section dont les pages sont visitées tous les jours est jugée importante par Google. Une section que les robots ne parcourent qu'une fois par trimestre est, en pratique, en marge de l'index. Pour compléter, on compare le nombre de pages crawlées sur la période au nombre de pages actives du site. L'écart permet d'identifier les pages jamais explorées, souvent révélatrices d'un problème de structure ou de maillage.
La répartition des codes de réponse HTTP (200, 301, 404, 5xx)
Sur un site sain, la grande majorité des requêtes des robots reçoit un code 200. Chaque requête qui aboutit à une 301, une 404 ou une 5xx consomme du budget de crawl pour rien.
Les erreurs 5xx sont les plus graves : quand elles se répètent, Google ralentit son crawl pour ménager le serveur. Il faut enfin repérer les erreurs 404, qui posent surtout problème quand les URLs concernées sont encore liées depuis le site.
Le nombre de redirections et les chaînes de redirection
L'analyse des logs montre les chaînes de redirection que les moteurs empruntent réellement. Une redirection isolée ne pose pas de problème SEO. En revanche, si vous identifiez une chaîne de trois ou quatre redirections, il faut s'inquiéter : cette chaîne peut retarder l'accès à la page finale, gaspiller de l'exploration, et affaiblir les signaux SEO.
La fréquence de crawl des pages stratégiques face aux pages à faible valeur
Cet indicateur est celui qui parle le plus aux directions marketing. Il compare la fréquence de crawl des pages qui génèrent du chiffre d'affaires à celle des pages secondaires, comme la pagination ou les archives.
Si les pages secondaires sont plus crawlées que les pages stratégiques, le crawl travaille contre votre stratégie. Suivre cet écart dans le temps permet d'identifier l'effet des actions d'optimisation, et de vérifier que les pages explorées en priorité sont bien celles qui comptent.
La fenêtre de crawl et le temps de réponse serveur
La fenêtre de crawl est le délai entre la publication d'une page et le premier passage du moteur. Plus elle est courte, plus les nouveaux contenus sont pris en compte vite par les moteurs de recherche. C'est un enjeu majeur pour un média ou un catalogue dont les prix changent souvent.
Cette fenêtre dépend largement du temps de réponse côté serveur. Un serveur lent pousse les robots à ralentir ; un serveur rapide les incite à explorer davantage. Améliorer le temps de réponse est donc l'un des leviers les plus directs pour optimiser la fréquence de crawl.
Les erreurs fréquentes à éviter
Se limiter aux données de la Search Console
Le rapport « Statistiques sur l'exploration » de la Search Console est utile pour une première lecture. Mais il agrège et échantillonne les données, et il ne couvre que Google. Il ne permet ni d'analyser chaque URL ou chaque ligne de log, ni d'observer les autres moteurs ou les crawlers IA.
L'outil de Google donne donc une tendance ; les fichiers de logs donnent le détail. S'en tenir au premier revient à lire le résumé d'un livre dont on possède le texte intégral.
Notre recommandation ? Compléter le rapport de Google par d'autres sources :
- un outil d'analyse spécialisé (Screaming Frog Log File Analyser, Oncrawl, Botify, Seolyzer...) pour traiter les fichiers serveur URL par URL, pour tous les crawlers et sur de longues périodes ;
- un crawler (Screaming Frog, Oncrawl) pour comparer les pages qui existent sur le site à celles que les moteurs explorent réellement ;
- Bing Webmaster Tools, l'équivalent de l'outil de Google pour Bing, dont l'index est aussi utilisé par plusieurs assistants IA ;
- les journaux du CDN (Cloudflare, Akamai…), souvent les plus fiables pour suivre les crawlers IA, qui n'apparaissent dans aucun outil de Google
Négliger la corrélation avec les données business
Savoir qu'une section est peu crawlée n'a de valeur que si l'on sait ce qu'elle pèse en trafic, en leads ou en chiffre d'affaires.
Relier les logs aux données business change la donne. Ce rapprochement aide à comprendre que, souvent, les pages les plus visitées par les robots ne sont pas celles qui rapportent le plus. Corriger ce décalage peut avoir un impact direct sur les performances SEO.
Notre recommandation ? Croiser l'analyse de logs aux KPIs obtenus sur Google Analytics 4 et sur le CRM (Hubspot, Salesforce...)
Analyser des logs sur une période trop courte
Le comportement des robots varie d'une semaine à l'autre, au gré des mises à jour d'algorithme et de l'actualité du site. Une analyse sur une seule semaine ne donne qu'une photographie.
Pour dégager des tendances fiables, et distinguer une anomalie passagère d'un vrai problème, il faut plusieurs semaines de données. Analyser les logs sur trente jours glissants est un minimum pour un premier diagnostic. Ensuite, un suivi continu permet de mesurer l'effet des corrections.
Faut-il faire appel à une agence pour analyser de logs ?
L'analyse de logs est un sujet technique : il peut parfois être plus intéressant de la laisser entre les mains d'une agence SEO spécialisée.
L'internalisation suffit si ces trois conditions sont réunies...
- le site est de taille modérée et le volume de logs reste raisonnable
- l'équipe SEO ou technique est déjà à l'aise avec les données serveur
- le besoin est ponctuel
Il est préférable de faire appel à une agence si...
- le site est un site à forte volumétrie, avec des dizaines de millions de lignes de logs
- un besoin d'expertise croisée se fait ressentir : croiser les logs aux données business, intégrer l'analyse dans une stratégie SEO et GEO globale...
- l'enjeu est fort : migration, perte de trafic inexpliquée, optimisation du budget à grande échelle...
- les équipes internes n'ont pas la compétence stratégique et technique pour traiter les logs
Les critères pour bien choisir son agence partenaire
Dans le cas où vous faites le choix de l'externalisation, plusieurs critères sont à prendre en compte dans le choix de votre partenaire :
- une expertise SEO technique démontrable, avec des cas clients et une méthodologie explicite ;
- la capacité à relier les sources (logs, crawl, données business), car une analyse de logs isolée reste incomplète
- des livrables clairs : rapport, tableau de bord, recommandations priorisées
- la transparence sur la confidentialité : les fichiers de logs contiennent des adresses IP et des informations sensibles, leur accès et leur stockage doivent être encadrés
