Budget de crawl : aider les moteurs de recherche à explorer les bonnes pages

Les moteurs de recherche ne peuvent pas récupérer indéfiniment toutes les URL possibles sur le Web. Pour un site, le budget de crawl décrit l'ensemble des URL qu'un moteur de recherche peut et souhaite explorer au fil du temps. La documentation actuelle de Google le présente à travers deux notions : la capacité d'exploration, qui protège les serveurs du site, et la demande d'exploration, qui reflète des facteurs comme l'inventaire connu, la popularité, la fraîcheur et la valeur perçue.

La plupart des sites de petite et moyenne taille n'ont pas besoin d'un travail élaboré sur le budget de crawl. Gardez le sitemap exact et surveillez l'indexation. Le budget de crawl est surtout important pour les sites très volumineux ou qui évoluent rapidement, les sites avec de nombreuses variantes d'URL ou les propriétés présentant beaucoup d'URL découvertes mais non indexées.

La capacité n'est pas la demande

Les moteurs de recherche ajustent leur exploration pour éviter de surcharger un hôte. Des réponses lentes, des délais d'attente et des erreurs serveur peuvent réduire la limite de capacité d'exploration. Un site sain et rapide peut être en mesure de traiter davantage de requêtes parallèles, mais cela ne signifie pas qu'un moteur de recherche récupérera toutes les URL qu'il connaît.

La demande d'exploration est distincte. Une page populaire qui change souvent peut être demandée fréquemment. Un doublon à faible valeur, une combinaison de filtres vide ou une URL d'erreur obsolète peut être connue sans justifier des traitements répétés. Acheter davantage de capacité serveur ne rend pas des URL à faible demande utiles, et bloquer des URL au hasard ne redirige pas automatiquement les requêtes libérées vers les pages importantes.

La séquence de mise en oeuvre

1. Établir un inventaire des URL

Exportez les URL du sitemap, des liens internes, des routes applicatives, de l'analytique, des journaux serveur, de Search Console et de tout flux produit ou contenu. Normalisez le protocole, le nom d'hôte, la casse, la barre oblique finale, les fragments et les paramètres de requête. Regroupez par modèle : produit, catégorie, article, recherche, filtre, pagination, compte, API, image et erreur.

Pour chaque groupe, indiquez si l'URL est :

• Utile et destinée à être indexée.
• Utile pour les utilisateurs mais non destinée aux résultats de recherche.
• Un doublon d'une autre URL.
• Vide, expirée, défaillante ou générée par un paramètre non maîtrisé.
• Une ressource non HTML qui doit être explorée pour les fonctionnalités de recherche.

Ne commencez pas par un blocage dans robots.txt. Comprenez d'abord quelles URL les moteurs de recherche demandent réellement et si l'application dispose d'une alternative canonique.

2. Consolider les doublons

Faites d'une URL le représentant clair de chaque contenu. Redirigez les URL obsolètes vers l'URL actuelle pertinente lorsque le contenu a réellement été déplacé. Utilisez rel="canonical" lorsque plusieurs URL accessibles sont nécessaires et que leur relation est claire, mais n'oubliez pas qu'une indication canonique n'est pas une instruction. Les liens internes et les sitemaps doivent utiliser systématiquement l'URL privilégiée.

Les sources courantes de gaspillage incluent les paramètres de suivi, les ordres de tri, les filtres à facettes, les identifiants de session, les noms d'hôte dupliqués, les protocoles alternatifs et les routes applicatives qui ne diffèrent que par l'encodage. Corrigez-les au niveau de la génération des URL et de la navigation. Une normalisation de clé de cache CDN peut réduire la duplication de diffusion, mais elle n'indique pas à elle seule à un moteur de recherche quelle URL indexer.

3. Choisir le bon signal d'exclusion

Utilisez robots.txt pour empêcher l'exploration d'URL ou de ressources qui ne doivent pas être récupérées, en particulier les espaces de paramètres non bornés et les chemins de navigation dupliqués. Ne l'utilisez pas comme moyen universel d'exclure une page des résultats de recherche : si un robot ne peut pas récupérer une page bloquée, il peut ne pas voir la directive noindex, et l'URL peut rester connue.

Utilisez noindex lorsqu'un robot doit accéder à la réponse pour comprendre que la page ne doit pas apparaître dans les résultats de recherche. Cela peut toujours consommer des requêtes d'exploration ; ce n'est donc pas une optimisation du budget pour un volume massif d'URL à faible valeur. Pour du contenu définitivement supprimé, renvoyez 404 ou 410 au lieu de laisser en place une URL bloquée ou une soft 404.

4. Garder les sitemaps précis

Incluez les URL canoniques et indexables que vous souhaitez faire découvrir. Retirez les redirections, les URL 4xx et 5xx, les URL bloquées, les variantes dupliquées et les pages avec une directive noindex. Incluez des valeurs lastmod exactes lorsque le contenu change, et non l'horodatage courant pour chaque URL à chaque déploiement.

Segmentez les grands inventaires par type de contenu ou fréquence de mise à jour et soumettez des index de sitemaps si nécessaire. Un sitemap est un signal de découverte et de fraîcheur, pas une garantie d'indexation. Il doit être cohérent avec les balises canoniques, les liens internes et le statut réel de la réponse.

5. Améliorer la santé des réponses

Mesurez les réponses aux robots par modèle d'URL et statut : latence, délais d'attente, erreurs de connexion, 4xx, 5xx, nombre de redirections, longueur du contenu, statut de cache et charge d'origine. Google prend explicitement en compte la santé de l'exploration lorsqu'il ajuste la capacité. Une réponse rapide en périphérie aide, mais un cache miss qui surcharge régulièrement l'origine peut tout de même réduire la capacité d'exploration effective.

Corrigez les chaînes de redirection, les erreurs serveur, les soft 404, les appels de base de données lents et les défaillances DNS ou TLS intermittentes. Assurez-vous que les contrôles de sécurité ne soumettent pas inopinément les robots légitimes à une vérification. Le guide SEO technique pour des sites rapides relie ces contrôles d'infrastructure aux performances et à l'expérience de page.

6. Renforcer la découverte des pages importantes

Utilisez des liens descriptifs et explorables depuis des pages stables vers le contenu important. Un sitemap aide un moteur de recherche à découvrir des URL, mais les liens internes communiquent aussi les relations et l'importance. Évitez que le seul chemin vers une page soit une interaction côté client qui n'est pas représentée par un véritable lien.

Pour les inventaires évolutifs, retirez proprement les produits expirés, préservez les pages de catégories utiles et décidez si les pages de produits épuisés doivent rester disponibles. Ne créez pas une nouvelle URL pour chaque état temporaire. Mettez à jour lastmod et les liens internes utiles lorsque le contenu change de façon significative.

Considérations relatives aux prestataires et à la sécurité

Cloudflare, Fastly ou un autre prestataire de périphérie peuvent réduire la latence, mettre en cache les réponses publiques et exposer les journaux de requêtes. Aucune de ces fonctions ne décide quelles URL méritent d'être indexées. Configurez les politiques de périphérie en tenant compte du comportement de recherche et validez la réponse fournie à un robot.

Ne considérez pas une chaîne User-Agent comme la preuve qu'une requête vient de Google. Les recommandations de vérification de Google préconisent une résolution DNS inverse suivie d'une résolution DNS directe, ou une correspondance avec les plages d'IP de robots publiées. Dans le même temps, n'utilisez pas l'identité d'un robot comme raison pour servir une page sensiblement différente. Pour une protection plus étendue du trafic applicatif et des robots, consultez le guide WAF.

Éléments à surveiller

Construisez une vue hebdomadaire ou quotidienne adaptée à la taille du site :

• Requêtes par robot, nom d'hôte, modèle d'URL, statut et temps de réponse.
• Part des requêtes pour les pages canoniques par rapport aux doublons et paramètres.
• Erreurs d'exploration, délais d'attente, chaînes de redirection, soft 404 et défaillances d'origine.
• URL du sitemap qui redirigent, échouent, sont bloquées ou portent noindex.
• Statistiques d'exploration de Search Console, rapports d'indexation et inspections d'URL représentatives.
• Nouveaux modèles d'URL introduits par les mises en production, le merchandising, la recherche ou les systèmes de suivi.

Utilisez les journaux pour identifier ce qui s'est réellement passé, pas seulement ce que le sitemap affirme. Le guide d'analyse des fichiers journaux explique comment relier les requêtes des robots aux événements d'infrastructure et aux décisions SEO.

Erreurs à éviter

• Tenter d'optimiser le budget de crawl d'un site qui n'a pas de problème d'exploration.
• Bloquer une URL avec robots.txt lorsque le véritable besoin est noindex.
• Ajouter chaque URL applicative au sitemap.
• Renvoyer 200 pour des pages manquantes ou afficher une soft 404.
• Supposer qu'un CDN plus rapide augmente automatiquement la demande de recherche.
• Mesurer les chaînes User-Agent des robots sans vérifier leur origine.
• Traiter la fréquence d'exploration comme un score de classement ou une garantie d'indexation.

Le travail sur le budget de crawl consiste à gérer l'inventaire et la santé de diffusion. Commencez par supprimer le gaspillage, rendez ensuite le contenu important facile à découvrir et rapide à récupérer, puis vérifiez le résultat dans les journaux et les outils de recherche. Pour un examen propre à votre site, découvrez les capacités SEO technique et GEO d'Optimi ou contactez l'équipe.

Il n'existe que deux problèmes difficiles en informatique : l'invalidation du cache et le nommage des choses.