Budget de crawl : Google explore-t-il toutes vos pages ?

Le budget de crawl, c'est quoi exactement ?

Le budget de crawl désigne l'ensemble des URL que Google peut explorer et veut explorer sur votre site. Ce n'est ni un quota que vous achetez, ni un réglage que vous poussez dans Search Console : c'est le résultat d'un arbitrage permanent entre ce que votre serveur supporte et ce que les systèmes de Google jugent utile de récupérer.

Le mot « crawl » (littéralement « ramper », que l'on traduit par exploration) désigne le passage d'un robot qui télécharge le code de vos pages pour le transmettre à l'index. Explorer n'est pas indexer : une page peut être visitée puis écartée. À l'inverse, une page jamais explorée n'a aucune chance d'apparaître dans les résultats, ni d'être reprise dans une réponse d'IA générative.

• Ce que c'est : le volume d'URL que Google télécharge sur votre domaine pendant une période donnée.
• Ce que ce n'est pas : un facteur de classement. Explorer davantage ne fait pas monter une page, cela lui donne seulement une chance d'être vue.
• Qui le fixe : Google seul, à partir de la santé technique de votre site et de l'intérêt qu'il porte à vos contenus.

Capacité de crawl et demande de crawl : les deux moitiés de l'équation

Google décompose le budget de crawl en deux variables, et une seule est réellement à votre portée. La capacité de crawl (crawl capacity limit) mesure le temps total que votre serveur consacre aux connexions ouvertes pour Google. La demande de crawl (crawl demand) traduit l'envie de Google de revenir chez vous.

Sur la capacité, la documentation est formelle depuis sa réécriture : « Chaque site démarre avec la même limite de capacité d'exploration par défaut, volontairement prudente. » Cette limite monte automatiquement si le site répond vite et proprement, et redescend dès que les temps de réponse s'allongent ou que les erreurs serveur se multiplient. Autrement dit, un hébergement sous-dimensionné coûte directement des pages explorées.

Sur la demande, trois signaux entrent en jeu : l'inventaire d'URL perçu par Google, la popularité des pages, et leur ancienneté. Vous n'agissez pas sur la popularité en un claquement de doigts, mais l'inventaire, lui, dépend entièrement de vous. C'est le vrai levier.

COMPRENDRE LE SEO · SEPTEMBRE 2026

Budget de crawl : les seuils officiels et les chiffres à connaître

• 1 M pages uniques : seuil « grand site » selon Google
• 10 000 pages si le contenu change chaque jour : seuil « site moyen »
• 52 % des requêtes de robots servent à entraîner une IA (juin 2026)
• 304 le code HTTP recommandé par Google pour économiser du budget

Ce qui vide votre budget

• Facettes et filtres
• Contenu dupliqué
• Soft 404
• Chaînes de redirections
• Calendriers infinis
• Serveur lent

Ce qui le préserve

• 404 ou 410 explicites
• En-têtes 304
• robots.txt ciblé
• Sitemap avec lastmod
• Liens mobile = desktop
• Temps de réponse bas

À retenir : depuis le 22 juillet 2026, Google précise que la limite de capacité d'exploration est partagée entre tous ses robots, Googlebot comme les collecteurs liés à l'IA. Chaque URL inutile explorée est donc une URL utile qui attend, pour Google Search comme pour les réponses génératives.

Télécharger l'infographie (PNG)

Votre site est-il vraiment concerné ?

Non, dans la grande majorité des cas. Google fixe des seuils explicites et invite tous les autres sites à passer leur chemin. Vous êtes concerné si vous gérez un site de plus d'un million de pages uniques dont le contenu change au moins une fois par semaine, ou un site de plus de 10 000 pages dont le contenu change tous les jours.

Un troisième signal, plus utile que les deux premiers, apparaît dans Search Console : une part importante de vos URL bloquées dans l'état « Détectée, actuellement non indexée ». Google connaît ces adresses, mais ne prend pas la peine d'aller les chercher. C'est le symptôme le plus fiable d'une enveloppe d'exploration saturée.

Un site vitrine de 40 pages n'a strictement rien à optimiser de ce côté. Un catalogue e-commerce avec navigation à facettes, en revanche, peut générer plusieurs centaines de milliers d'URL sans le vouloir. Chez Digital-m, nous auditons régulièrement des boutiques de 3 000 références produits qui exposent plus de 200 000 URL crawlables une fois les combinaisons de filtres additionnées.

La nouveauté 2026 : un budget partagé entre tous les robots de Google

La phrase la plus importante de la mise à jour du 22 juillet 2026 tient en une ligne : « Bien que chaque robot ait une demande d'exploration différente, la limite de capacité d'exploration est partagée entre tous les robots. » Traduction concrète : le collecteur qui alimente Gemini et celui qui alimente Google Search se disputent la même enveloppe serveur.

Ce qui a changé dans la documentation officielle

Depuis le 20 novembre 2025, Google a sorti toute sa documentation d'exploration de Search Central pour la loger dans un espace dédié, « Google Crawling Infrastructure », au motif que cette infrastructure est mutualisée entre plusieurs produits. Le changelog de cette section montre une année 2026 chargée : ajout du robot Google-Agent le 20 mars, documentation de l'authentification Web Bot Auth le 4 mai, renommage du collecteur de NotebookLM en Google-GeminiNotebook le 16 juillet, puis la réécriture du guide budget de crawl le 22 juillet.

Qui puise dans votre enveloppe

Google range ses robots en trois familles : les common crawlers, qui respectent toujours robots.txt, les special-case crawlers, qui peuvent en ignorer certaines règles avec l'accord du site, et les user-triggered fetchers, déclenchés par une action humaine.

• Googlebot : alimente Search, Discover, Images, Vidéo et News. C'est lui qui compte pour votre référencement.
• GoogleOther : collecteur générique utilisé par différentes équipes produit de Google.
• Google-CloudVertexBot : récupère du contenu pour les agents construits sur Vertex AI.
• Google-Extended : ce n'est pas un robot mais un jeton robots.txt. Le bloquer empêche l'usage de vos contenus pour l'entraînement de Gemini, sans aucun effet sur votre position dans Google Search.
• Google-GeminiNotebook : récupère les pages que les utilisateurs ajoutent à leurs carnets NotebookLM.

Ce partage tombe dans un contexte où la pression des robots explose. Selon le rapport Cloudflare du 1er juillet 2026, 52 % des requêtes de robots visaient l'entraînement de modèles d'IA en juin 2026, contre 22 % au printemps 2025. Le même rapport avance que plus de la moitié du trafic internet total provient désormais d'agents non humains. Les robots d'OpenAI, d'Anthropic, de Meta, de Perplexity ou d'Amazon ne partagent pas la limite de Google, mais ils consomment la même bande passante et les mêmes ressources serveur que lui. Si vous voulez reprendre la main sur ces accès, notre guide sur le rôle du fichier robots.txt face aux crawlers d'IA détaille les directives à poser.

Où lire votre budget de crawl dans Search Console

Le rapport Statistiques d'exploration de Google Search Console est la seule source de vérité gratuite sur ce sujet. Il se trouve dans Paramètres, puis Statistiques d'exploration, et couvre les 90 derniers jours. Quatre lectures valent le détour.

• Total des demandes d'exploration : la courbe doit être stable ou croissante. Une chute brutale signale presque toujours un problème serveur.
• Temps de réponse moyen : c'est le curseur qui pilote votre capacité. Au delà de 600 ms, vous laissez du budget sur la table.
• Par objectif : la répartition entre actualisation et découverte. Trop d'actualisation sur des pages figées est un gaspillage net.
• Par type de fichier : si les images, le CSS et le JavaScript pèsent 80 % des requêtes, votre HTML utile passe en second.

Attention à un détail d'actualité : d'après le récapitulatif de Search Engine Roundtable, Google a corrigé début septembre 2026 un bug d'affichage sur les données de statistiques d'exploration. Si vous avez constaté une anomalie fin août, comparez avec une période antérieure avant d'en tirer une conclusion. Search Console s'enrichit par ailleurs côté IA, comme nous l'expliquions dans notre article sur la mesure de votre visibilité dans l'IA.

Les gaspillages qui vident votre budget de crawl

Une enveloppe d'exploration saturée n'est presque jamais un problème de volume : c'est un problème de tri. Google dépense ses ressources sur des URL qui n'ont aucune valeur, pendant que vos fiches produits récentes attendent leur tour. Voici les six coupables que nous retrouvons le plus souvent en audit.

• La navigation à facettes : chaque combinaison de filtres crée une URL. Trois filtres à cinq valeurs suffisent à générer plus de 200 adresses pour une seule catégorie.
• Le contenu dupliqué : même page accessible avec et sans slash final, en http et https, avec des paramètres de tracking. Google explore tout, puis consolide.
• Les soft 404 : une page vide qui renvoie un code 200 est explorée indéfiniment. Un vrai 404 ou 410 clôt le sujet.
• Les chaînes de redirections : une redirection en cascade sur quatre sauts consomme quatre requêtes pour une seule page utile.
• Les espaces infinis : calendriers, filtres de dates, pagination sans fin. Le robot y tourne en rond.
• Le noindex mal employé : Google doit explorer la page pour lire la balise. Le noindex protège l'index, jamais le budget.

Les deux premiers points recoupent une pathologie plus large, que nous détaillons dans notre article sur la cannibalisation SEO entre vos propres pages. Le quatrième explose systématiquement lors des changements d'arborescence : notre guide de refonte de site sans perte de SEO revient sur la façon de tenir un plan de redirections propre.

Six actions concrètes pour récupérer du budget de crawl

La bonne nouvelle : les leviers sont techniques, documentés et mesurables. Voici la méthode que nous appliquons, dans cet ordre, sur les sites à fort volume.

• 1. Bloquer avant de nettoyer : interdisez dans robots.txt les paramètres d'URL sans valeur, les résultats de recherche interne et les combinaisons de facettes. C'est l'action au rapport effort/gain le plus élevé.
• 2. Répondre 404 ou 410 : Google recommande explicitement ces codes pour les contenus supprimés définitivement. Un 410 accélère la sortie de l'index.
• 3. Activer les en-têtes 304 : le code 304 Not Modified dit au robot que rien n'a bougé. Il économise du transfert des deux côtés, et Google le cite nommément parmi ses recommandations.
• 4. Tenir un sitemap XML honnête : uniquement des URL indexables, avec une balise lastmod fiable. Une date bidonnée sur tout le site fait perdre à Google confiance dans le signal.
• 5. Accélérer le serveur : « Optimisez les temps de réponse de votre serveur et vos ressources pour que les pages se chargent plus vite », écrit Google. La capacité d'exploration suit mécaniquement.
• 6. Aligner mobile et desktop : Google recommande de conserver le même jeu de liens sur les deux versions. L'indexation étant mobile-first, un lien absent du mobile est un lien qui n'existe pas.

Ces six chantiers relèvent du SEO technique pur. Ils ne remplacent pas une stratégie éditoriale, mais ils conditionnent son efficacité : un excellent contenu jamais exploré ne rapporte rien. Notre agence GEO intègre systématiquement cet audit d'exploration en amont des chantiers de visibilité générative.

Budget de crawl et GEO : le lien que tout le monde rate

Une page non explorée ne peut pas être citée par une IA générative. Le raisonnement paraît évident, il est pourtant absent de la plupart des stratégies GEO. Les moteurs génératifs s'appuient soit sur un index propriétaire, soit sur celui d'un moteur partenaire, et dans les deux cas la porte d'entrée reste l'exploration.

Un exemple parlant : d'après une analyse du cabinet français Resoneo relayée par Search Engine Journal le 15 août 2026, l'index de recherche de ChatGPT ne conserve que le titre et environ 200 caractères de haut de page. Tout ce qui précède votre premier paragraphe, bandeaux et fils d'Ariane compris, consomme cet espace minuscule. Les auteurs précisent que la mesure repose sur un champ de traçage retiré par OpenAI fin juillet 2026, ce qui la rend difficilement reproductible aujourd'hui.

Ce constat rejoint notre propre étude sur les citations de ChatGPT : 44,2 % d'entre elles proviennent du premier tiers d'un article. L'exploration et le GEO se rejoignent donc sur une même exigence de sobriété : moins d'URL parasites, moins de bruit en haut de page, plus de substance immédiatement accessible. C'est exactement ce que nous transmettons dans notre formation GEO certifiée Qualiopi.

Ce qu'il faut retenir

Le budget de crawl reste un sujet de grands sites : en dessous de 10 000 pages à contenu quotidiennement modifié, la documentation de Google vous invite explicitement à regarder ailleurs. Mais la donne bouge. Depuis le 22 juillet 2026, la limite de capacité d'exploration est officiellement partagée entre tous les robots de Google, et la moitié des requêtes de robots sur le web sert désormais à entraîner des modèles d'IA.

Les trois réflexes à garder : surveiller le rapport Statistiques d'exploration plutôt que de raisonner à l'aveugle, traquer les URL inutiles avant d'ajouter du contenu, et répondre proprement en 404, 410 et 304. Vous soupçonnez un problème d'exploration sur votre site ? Demandez un audit technique à Digital-m : nous croisons vos logs serveur, votre Search Console et un crawl complet pour identifier où part exactement votre budget.