robots.txt : à quoi sert vraiment ce fichier SEO ?

robots.txt, c'est quoi exactement ?

Le robots.txt est un simple fichier texte placé à la racine d'un site web (par exemple digital-m.fr/robots.txt) qui indique aux robots d'exploration les zones qu'ils peuvent ou non parcourir. Il repose sur le protocole d'exclusion des robots (REP), une convention née en 1994 et devenue un standard officiel de l'IETF en 2022. Concrètement, avant de crawler (explorer) vos pages, un robot bien élevé comme Googlebot lit ce fichier et suit ses instructions.

Son rôle est d'orienter le budget de crawl, c'est à dire le nombre de pages qu'un moteur accepte d'explorer sur votre site dans un temps donné. En interdisant l'exploration de sections inutiles (panier, résultats de recherche interne, pages de filtres), vous concentrez l'attention des robots sur les pages qui comptent pour votre visibilité.

• Emplacement unique : le fichier doit se trouver à la racine du domaine, jamais dans un sous-dossier.
• Fichier public : n'importe qui peut le consulter, ne l'utilisez donc jamais pour «cacher» des données sensibles.
• Un par domaine : un sous-domaine (blog.exemple.fr) possède son propre robots.txt, distinct du domaine principal.

Comment fonctionne un fichier robots.txt ?

Un fichier robots.txt se lit ligne par ligne, avec une syntaxe volontairement minimaliste. Trois directives suffisent à couvrir l'essentiel des besoins. Chaque bloc commence par le nom du robot visé, puis liste ce qui lui est interdit ou autorisé.

• User-agent : désigne le robot concerné. L'astérisque (*) vise tous les robots à la fois.
• Disallow : interdit l'exploration d'un chemin. «Disallow: /» bloque tout le site, «Disallow: /admin/» bloque un dossier précis.
• Allow : autorise explicitement un chemin, utile pour ouvrir une exception dans une zone bloquée.

Un exemple parlant : pour interdire à GPTBot d'explorer votre site tout en laissant Google faire son travail, vous écrivez un bloc «User-agent: GPTBot» suivi de «Disallow: /». Vous pouvez aussi ajouter l'adresse de votre sitemap XML en bas du fichier, ce qui aide les moteurs à découvrir toutes vos URL. Ce réglage se surveille ensuite dans la Search Console pour vérifier le passage des robots et repérer les blocages involontaires.

Comprendre le SEO · Août 2026

Qui bloque les robots d'IA en 2026 ?

• 5,52 % des sites analysés bloquent GPTBot (T1 2026)
• 9,64 % des requêtes de bots IA finissent en erreur 403 (juil. 2026)
• 1 255:1 pages crawlées par OpenAI pour 1 seule visite renvoyée

GPTBot est le robot d'IA le plus souvent bloqué

Part des fichiers robots.txt qui interdisent chaque robot, sur environ 4 000 sites analysés. Réseau Cloudflare, premier trimestre 2026.

• GPTBot (OpenAI) 5,52 %
• CCBot (Common Crawl) 5,08 %
• ClaudeBot (Anthropic) 4,88 %
• Google-Extended 4,44 %
• Bytespider (ByteDance) 4,23 %

À retenir : robots.txt reste votre premier levier pour piloter le crawl, mais c'est un protocole volontaire, pas un mur. Pour protéger vraiment un contenu, doublez-le d'un blocage côté serveur. Bien réglé, il préserve votre budget de crawl et votre visibilité.

robots.txt bloque le crawl, pas l'indexation

Voici le malentendu le plus fréquent, et il coûte cher : bloquer une page dans le robots.txt n'empêche pas Google de l'afficher dans ses résultats. La directive «Disallow» interdit seulement l'exploration du contenu, pas l'indexation de l'URL. Si d'autres sites pointent vers votre page bloquée, Google peut l'indexer sans jamais l'avoir lue, en affichant un titre approximatif et sans description.

Pour retirer réellement une page des résultats, la méthode correcte est la balise «noindex» dans le code HTML de la page, ou une protection par mot de passe. Paradoxe à connaître : pour que Google voie ce «noindex», il doit pouvoir crawler la page, donc vous ne devez surtout pas la bloquer dans le robots.txt en même temps. Chez Digital-m, nous auditons régulièrement des sites où un «Disallow» mal placé annulait un «noindex», laissant vivre des pages qui auraient dû disparaître.

Crawlers IA : le nouveau front du robots.txt

Depuis 2023, le robots.txt a gagné un nouveau rôle : filtrer les robots des intelligences artificielles. Ces robots aspirent le web pour entraîner leurs modèles ou pour alimenter leurs réponses en temps réel. Chacun possède son propre nom de user-agent (sa carte d'identité déclarée), que vous pouvez cibler individuellement dans votre fichier.

• GPTBot : collecte les données d'entraînement d'OpenAI. À distinguer de OAI-SearchBot et ChatGPT-User, qui servent la recherche et la navigation dans ChatGPT.
• ClaudeBot : le robot d'Anthropic, accompagné de Claude-SearchBot et Claude-User pour les usages de recherche.
• Google-Extended : alimente les modèles Gemini. Le bloquer n'affecte pas Googlebot, qui continue d'indexer votre site pour la recherche classique.
• PerplexityBot, Bytespider, CCBot, Amazonbot : respectivement Perplexity, TikTok/ByteDance, Common Crawl et Amazon, autant de robots que vous pouvez autoriser ou refuser au cas par cas.

Les chiffres montrent une adoption encore prudente mais qui grimpe. Au premier trimestre 2026, GPTBot était bloqué par 5,52 % des sites étudiés, CCBot par 5,08 %, ClaudeBot par 4,88 % et Google-Extended par 4,44 % (test réalisé par TechnologyChecker à partir des données Cloudflare Radar, sur environ 4 000 fichiers robots.txt). Le mouvement touche surtout les secteurs technologie, médias et e-commerce, où le contenu a une vraie valeur marchande.

Faut-il bloquer les bots IA ? Le dilemme SEO contre GEO

La réponse honnête : cela dépend de votre modèle. Bloquer les robots d'IA protège votre contenu contre une réutilisation gratuite, mais vous prive aussi de citations dans ChatGPT, Gemini ou Perplexity, qui deviennent des sources de trafic et de notoriété. C'est tout l'enjeu du GEO (Generative Engine Optimization), l'art d'être bien référencé par les IA génératives.

Une donnée éclaire ce dilemme : le ratio entre pages crawlées et visites renvoyées. Au premier trimestre 2026, Cloudflare a mesuré 1 255 pages explorées par OpenAI pour une seule visite envoyée en retour, contre un ratio de 5 pour 1 chez Google. Autrement dit, les robots IA prennent beaucoup et rendent encore peu de trafic direct. Mais la citation dans une réponse générative construit une visibilité de marque qui ne se mesure pas en clics immédiats.

Trois postures possibles

Il n'existe pas de réglage universel. Un média premium n'a pas les mêmes intérêts qu'un artisan qui cherche à se faire connaître. Voici les trois grandes options, à choisir selon votre stratégie.

• Tout ouvrir : vous acceptez tous les robots IA pour maximiser vos chances de citation. Recommandé pour les PME et commerces qui veulent gagner en visibilité.
• Filtrer : vous autorisez les robots «de recherche» (qui envoient du trafic) et bloquez les robots «d'entraînement» purs. Un compromis populaire.
• Tout bloquer : réservé aux éditeurs dont le contenu est le produit et qui négocient des accords de licence payants.

Les limites du robots.txt : un protocole volontaire

Le robots.txt repose sur la bonne volonté des robots. Rien, techniquement, n'empêche un crawler d'ignorer vos consignes. En août 2025, Cloudflare a publiquement accusé Perplexity d'utiliser des robots «furtifs» et non déclarés pour contourner les blocages robots.txt de certains sites, ce que Perplexity a contesté. L'épisode a rappelé une évidence : un fichier texte n'est pas une barrière, c'est un panneau de signalisation.

Face à cette limite, de nouveaux mécanismes apparaissent. Cloudflare a lancé en juillet 2025 son système «pay per crawl», qui utilise le code HTTP 402 pour facturer aux IA l'accès au contenu des éditeurs. En parallèle, un standard émergent, le fichier llms.txt, propose non plus de bloquer mais de guider les modèles vers vos contenus les plus utiles. Pour un blocage réellement contraignant, seule une règle côté serveur (pare-feu, gestion de bots, protection par mot de passe) offre une garantie.

Comment configurer et tester votre robots.txt

Créer un robots.txt propre prend quelques minutes, mais une erreur peut rendre tout un site invisible. La règle d'or : testez toujours avant de mettre en ligne. Voici la marche à suivre, étape par étape.

• 1. Recensez : listez les sections à ne pas explorer (back-office, recherche interne, pages de remerciement, doublons de filtres).
• 2. Rédigez : créez un fichier texte nommé exactement «robots.txt», avec un bloc par groupe de robots, et ajoutez la ligne Sitemap à la fin.
• 3. Déposez : placez le fichier à la racine du domaine, accessible à l'adresse votresite.fr/robots.txt.
• 4. Testez : utilisez l'outil de test du robots.txt et le rapport de couverture de la Search Console pour vérifier qu'aucune page stratégique n'est bloquée par erreur.
• 5. Surveillez : relisez le fichier après chaque refonte, car une migration mal gérée réintroduit souvent un «Disallow: /» oublié.

L'erreur qui coûte le plus cher

La panne classique après une mise en production : le «Disallow: /» de l'environnement de préproduction reste en place et bloque le site entier. Vérifiez ce point en priorité à chaque lancement. Un bon maillage interne ne sert à rien si les robots ne peuvent pas explorer les pages qu'il relie.

Ce qu'il faut retenir

Le robots.txt est un fichier fondateur du SEO, aujourd'hui au centre de la relation entre votre site et les intelligences artificielles. Il pilote le crawl, protège votre budget d'exploration et vous permet de choisir, robot par robot, qui accède à votre contenu. Mais il ne cache rien, n'empêche pas l'indexation et ne contraint pas les mauvais élèves. C'est un outil de dialogue, pas un verrou.

La vraie question n'est plus «comment bloquer», mais «qui laisser entrer et pourquoi». Entre protéger sa valeur et gagner des citations dans les moteurs génératifs, l'arbitrage est stratégique. Chez Digital-m, nous auditons votre robots.txt et votre stratégie de crawl pour aligner visibilité SEO et présence dans les IA. Besoin d'y voir clair ? Demandez un audit personnalisé ou formez vos équipes avec notre formation GEO.