Capacité et demande d'exploration
Google combine deux notions. La limite de capacité d'exploration correspond au nombre de connexions et au temps serveur que Googlebot peut utiliser sans surcharger le site : elle augmente quand le serveur répond vite et baisse en cas d'erreurs 5xx ou de réponses 429. La demande d'exploration mesure l'envie de Google de visiter vos pages : elle dépend du nombre d'URL connues, de leur popularité et du temps écoulé depuis la dernière visite. Une migration de site l'augmente temporairement.
Qui doit vraiment s'en préoccuper
Google cible trois profils : les grands sites d'environ un million de pages dont le contenu change chaque semaine, les sites d'environ 10 000 pages qui changent chaque jour, et ceux dont beaucoup d'URL restent au statut « Détectée, actuellement non indexée » dans Search Console. Un site vitrine de 40 pages dont les nouveautés sont explorées le jour même n'a pas de problème de budget de crawl.
Les gaspillages les plus fréquents
- Filtres et facettes qui génèrent des milliers de combinaisons d'URL : bloquez-les dans le robots.txt.
- Contenus dupliqués non consolidés.
- Pages supprimées qui répondent en 200 (soft 404) au lieu de 404 ou 410.
- Chaînes de redirections successives.
- Pages en noindex : Google doit quand même les télécharger, le noindex n'économise donc pas de budget.
- Sitemap qui liste des URL obsolètes ou sans date lastmod fiable.
Mesurer l'exploration
Le rapport Statistiques sur l'exploration, dans les paramètres de Search Console, affiche le nombre de requêtes par jour, le temps de réponse moyen et la répartition par code de réponse et par type de fichier. Pour aller plus loin, les journaux du serveur montrent quelles sections Googlebot visite réellement : c'est la seule façon de savoir si vos fiches produits sont explorées ou si le robot s'épuise sur des pages de tri. Un serveur rapide qui gère l'en-tête 304 Not Modified permet aussi à Google de réutiliser ses copies.