Crawlers IA : GPTBot, ClaudeBot et robots.txt en 2026

Les crawlers IA sont les robots automatisés qu’OpenAI, Anthropic, Perplexity, Google et Microsoft envoient lire votre site pour trois missions distinctes : entraîner des modèles, construire des index de recherche, et récupérer des pages en direct quand un utilisateur pose une question. Chaque bot obéit à son propre jeton robots.txt : bloquer le mauvais peut retirer discrètement votre site des réponses IA. Et d’après les tests de Vercel avec Merj en décembre 2024, aucun des grands crawlers IA n’exécute JavaScript : ce que votre serveur envoie en HTML est tout ce qu’ils voient.

Pourquoi les crawlers IA comptent-ils pour votre visibilité ?

Parce qu’être exploré est le ticket d’entrée : si un bot de recherche IA ne lit jamais votre page, ChatGPT, Claude ou Perplexity ne peuvent pas la citer. Selon Cloudflare (juillet 2025), le trafic combiné des crawlers IA et de recherche a progressé de 18 % entre mai 2024 et mai 2025. La part de GPTBot dans ce trafic est passée de 2,2 % à 7,7 % — une hausse de 305 % — tandis que Googlebot montait de 30 % à 50 %, que ClaudeBot reculait de 11,7 % à 5,4 % et que Bingbot se situait autour de 8,7 %.

La plupart des propriétaires de sites n’ont pas réagi. Dans la même étude, seuls 14 % des 3 816 domaines majeurs analysés avaient des directives robots.txt spécifiques aux bots IA, et GPTBot était le bot le plus bloqué (312 domaines). Être exploré est la première étape ; transformer ces explorations en citations est un autre problème, que nous décortiquons dans comment les moteurs IA choisissent qui citer.

Quels sont les trois types de bots IA ?

Tout crawler IA documenté remplit l’une de trois missions : entraînement de modèles, indexation pour la recherche, ou récupération en direct déclenchée par un utilisateur. La distinction compte, car chaque type porte un arbitrage différent et robots.txt permet de les traiter séparément.

Selon Cloudflare (août 2025), l’entraînement des modèles représente environ 79-80 % de l’activité des bots IA (contre 72 % en juillet 2024), la recherche 17 % et les actions d’utilisateurs 3,2 %. C’est cette dernière catégorie qui croît le plus vite : le Radar 2025 Year in Review de Cloudflare a mesuré une récupération déclenchée par l’utilisateur multipliée par plus de 15 au cours de 2025, ChatGPT-User culminant jusqu’à 16 fois son niveau de début d’année.

Voici la liste complète des bots documentés et l’effet réel du blocage de chacun :

Bot	Opérateur	Mission	Si vous le bloquez dans robots.txt	Exécute JS
GPTBot	OpenAI	Entraînement des modèles	Contenu exclu des jeux d’entraînement d’OpenAI	Non
OAI-SearchBot	OpenAI	Index de recherche ChatGPT	Votre site ne peut plus apparaître dans les résultats de recherche ChatGPT	Non
ChatGPT-User	OpenAI	Récupération en direct à la demande	Peut ne pas s’appliquer — les visites sont initiées par l’utilisateur	Non
OAI-AdsBot	OpenAI	Valide les pages de destination publicitaires	—	Non testé
ClaudeBot	Anthropic	Entraînement des modèles	Contenus futurs exclus des jeux d’entraînement de Claude	Non
Claude-SearchBot	Anthropic	Index de recherche Claude	Visibilité réduite dans les résultats de recherche Claude	Non testé
Claude-User	Anthropic	Récupération en direct à la demande	Claude ne peut plus aller chercher vos pages pendant les conversations	Non testé
PerplexityBot	Perplexity	Index de recherche (pas d’entraînement)	Vous ne pouvez plus être affiché ni lié dans les résultats Perplexity	Non
Perplexity-User	Perplexity	Récupération en direct à la demande	Généralement ignoré, selon la documentation de Perplexity	Non testé
Google-Extended	Google	Jeton contrôlant l’entraînement et l’ancrage de Gemini	Ni entraînement ni ancrage Gemini ; Google Search inchangé	s.o.
Bingbot	Microsoft	Index Bing, et rapporté comme alimentant aussi les réponses Copilot *	Vous quittez Bing, et selon ces sources Copilot, d’un seul coup *	Non testé

Les missions proviennent de la documentation officielle de chaque éditeur (2026), sauf la ligne Bingbot (*) : son lien avec Copilot nous parvient de la documentation de Bing Webmaster Tools via des sources secondaires — nous n’avons pas pu ouvrir la page primaire, à traiter donc comme rapporté, non vérifié. La colonne JavaScript reflète les tests de Vercel fin 2024, les bots non testés étant signalés comme tels.

Quels crawlers OpenAI utilise-t-il, et que contrôle chacun ?

OpenAI documente quatre crawlers, chacun avec son propre jeton robots.txt, sa chaîne user-agent et ses plages d’IP publiées, selon la documentation des crawlers d’OpenAI (2026) :

1. GPTBot (user-agent GPTBot/1.4, IP publiées sur openai.com/gptbot.json) collecte du contenu pour l’entraînement des modèles. Le bloquer exclut votre site des jeux d’entraînement d’OpenAI.
2. OAI-SearchBot (OAI-SearchBot/1.4) alimente la recherche dans ChatGPT. C’est son autorisation qui permet à votre site d’apparaître dans les résultats de recherche ChatGPT, et OpenAI précise qu’il peut falloir environ 24 heures pour traiter une mise à jour de robots.txt.
3. ChatGPT-User (ChatGPT-User/1.0) va chercher des pages pendant les conversations. Comme un humain initie chaque visite, OpenAI indique que robots.txt peut ne pas s’appliquer.
4. OAI-AdsBot valide les pages de destination publicitaires.

Les réglages sont indépendants d’un bot à l’autre. Conséquence pratique : vous pouvez refuser l’entraînement d’OpenAI tout en conservant une visibilité complète dans la recherche ChatGPT — ce sont deux leviers séparés.

Que font ClaudeBot, Claude-SearchBot et Claude-User ?

Anthropic documente trois crawlers, qui respectent tous robots.txt, selon le centre d’aide de Claude (2026). ClaudeBot collecte du contenu web pouvant servir à entraîner les modèles Claude, et il prend en charge la directive Crawl-delay. Claude-SearchBot indexe les pages pour améliorer la qualité des résultats de recherche de Claude. Claude-User accède à une page lorsque la question d’un utilisateur à Claude l’exige.

Bloquer chaque bot produit un effet distinct et demande sa propre entrée dans robots.txt. Anthropic indique qu’une fois ClaudeBot bloqué, les contenus futurs devraient être exclus de ses jeux d’entraînement. Les plages d’IP publiées se trouvent sur claude.com/crawling/bots.json : vous pouvez donc vérifier qu’un trafic se réclamant de Claude en est bien un.

Perplexity respecte-t-il robots.txt ?

Son crawler déclaré, oui ; son agent utilisateur, non nécessairement. Selon la documentation des crawlers de Perplexity (2026), PerplexityBot (PerplexityBot/1.0, IP sur perplexity.com/perplexitybot.json) indexe les pages pour afficher et lier des sites dans les résultats — pas pour entraîner des modèles — et respecte robots.txt. Perplexity-User gère les visites initiées par l’utilisateur et, selon les termes mêmes de Perplexity, « ignore généralement les règles de robots.txt » parce qu’une personne est à l’origine de chaque requête.

Il existe aussi un problème de crédibilité documenté. Le 4 août 2025, Cloudflare a accusé Perplexity de crawl furtif : un user-agent Chrome générique non déclaré générant 3 à 6 millions de requêtes par jour en plus des 20 à 25 millions du crawler déclaré, avec rotation d’IP et d’ASN pour contourner les blocages et non-respect de robots.txt sur des domaines de test. Cloudflare a retiré Perplexity de sa liste de bots vérifiés. La leçon se généralise : robots.txt est une demande de courtoisie, pas une barrière technique.

Google-Extended est-il un crawler, et Bingbot alimente-t-il Copilot ?

Google-Extended n’est pas un crawler du tout. C’est un jeton robots.txt autonome, sans user-agent propre — l’exploration reste assurée par les user-agents existants de Google. Le jeton contrôle si votre contenu peut servir à entraîner les futurs modèles Gemini (Gemini Apps et Vertex AI) et à les ancrer dans des sources, selon la documentation des crawlers de Google (2026) :

“Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal.” — Google for Developers, 2026

Les propriétaires de sites ont bien vu à quel point l’arbitrage est peu coûteux : le Radar 2025 Year in Review de Cloudflare a constaté que les directives d’autorisation pour Google-Extended ont triplé au cours de 2025, alors même que GPTBot, ClaudeBot et CCBot dominaient la liste des bots les plus souvent bloqués purement et simplement.

Bingbot est le cas inverse — avec une réserve sur notre propre niveau de preuve. Comme rapporté de seconde main depuis la documentation de Bing Webmaster Tools, une page que nous n’avons pas pu ouvrir directement pour la vérifier, le même crawl de Bingbot alimenterait à la fois l’index Bing Search et les réponses IA de Microsoft Copilot, et Microsoft publierait ses IP validées dans bingbot.json en recommandant une vérification DNS. Nous le signalons comme rapporté et non confirmé. Ce qui est documenté de première main, c’est le user-agent officiel — une chaîne de type Chrome contenant bingbot/2.0, avec une variante mobile — annoncé par Microsoft le 28 avril 2022. Si le récit du crawl partagé se confirme, alors, contrairement à OpenAI ou Anthropic, il n’y a pas de levier séparé ici : visibilité Bing et exposition Copilot viennent en bloc.

Combien les bots IA explorent-ils — et combien de trafic renvoient-ils ?

Ils explorent beaucoup et renvoient peu. Fin 2024, Vercel a mesuré les volumes mensuels sur son réseau : GPTBot a effectué 569 millions de requêtes, le Claude d’Anthropic 370 millions, AppleBot 314 millions et PerplexityBot 24,4 millions — soit ensemble environ 20 % des 4,5 milliards de Googlebot sur la même période.

La même étude a trouvé les crawlers IA remarquablement inefficaces : ChatGPT consacrait 34,82 % de ses récupérations à des pages 404 et Claude 34,16 %, contre 8,22 % pour Googlebot. ChatGPT privilégie le HTML (57,70 % de ses récupérations) tandis que Claude penche vers les images (35,17 %).

Le trafic référé est la partie qui dégrise. Les ratios crawl-to-refer de Cloudflare — pages explorées par visite humaine référée — proviennent de deux billets distincts qui mesurent des périmètres différents ; chaque colonne porte donc sa propre source :

Opérateur	Tous sites — Cloudflare, 29 août 2025 (fenêtre juil. 2025)	Éditeurs de presse — Cloudflare, 28 août 2025
Anthropic	38 066:1	2 500:1
OpenAI	1 091:1	152:1
Perplexity	195:1	32,7:1
Google	5,4:1	—

“…still crawled 38,000 pages for every referred page visit in July 2025.” — Cloudflare à propos d’Anthropic, 29 août 2025

Selon la ventilation sectorielle de Cloudflare (août 2025), ClaudeBot et GPTBot représentent à eux deux près de la moitié du crawl IA observé, et dans le secteur de la presse ChatGPT-User atteint 14,9 % de l’exploration — signe d’une forte demande d’utilisateurs réels. La lecture stratégique pour une PME : la visibilité IA paie aujourd’hui en citations et en présence de marque, pas en clics de masse.

Les crawlers IA exécutent-ils JavaScript ?

Non — aucun des grands crawlers IA n’exécute JavaScript. Une étude de Vercel avec Merj (décembre 2024) les a testés directement :

“ChatGPT and Claude don’t execute JavaScript.” — Vercel, décembre 2024

Ni GPTBot, ni OAI-SearchBot, ni ChatGPT-User, ni ClaudeBot, ni PerplexityBot, ni Meta-ExternalAgent, ni Bytespider, ni CCBot n’ont fait le rendu du JS. Seuls Gemini — via l’infrastructure de Googlebot — et AppleBot l’ont fait. Ces bots téléchargent quand même les fichiers JavaScript (11,50 % des récupérations de ChatGPT, 23,84 % de celles de Claude) ; ils ne les exécutent simplement jamais.

L’implication est brutale : si vos prix, descriptions produit ou FAQ sont injectés côté client, ils sont invisibles pour les assistants IA. Le contenu critique doit arriver dans la réponse HTML du serveur, via rendu côté serveur ou génération statique. C’est la même discipline que récompense la recherche classique — voyez nos fondamentaux de SEO technique — et c’est la première chose que nous vérifions dans un audit SEO technique.

Comment configurer robots.txt pour les bots IA ?

Bot par bot, ligne par ligne — il n’existe pas d’interrupteur IA unique. Bloquer GPTBot n’arrête que le crawler d’entraînement d’OpenAI et laisse OAI-SearchBot intact ; bloquer ClaudeBot n’affecte ni Claude-SearchBot ni Claude-User. OpenAI comme Anthropic avertissent que bloquer leurs bots de recherche réduit votre visibilité et vos citations dans leurs réponses.

Un point de départ raisonnable pour la plupart des PME : autoriser les bots de recherche et d’utilisateur, puis prendre une décision délibérée sur les bots d’entraînement.

# Option A — par défaut : tout autoriser (aucune entrée IA nécessaire)

# Option B — bloquer l'entraînement, garder la visibilité en recherche IA
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Option C — limiter le rythme de l'entraînement au lieu de le bloquer
# (Anthropic documente la prise en charge de Crawl-delay pour ClaudeBot)
User-agent: ClaudeBot
Crawl-delay: 1

Deux détails opérationnels. D’abord, OAI-SearchBot peut demander environ 24 heures pour traiter une mise à jour de robots.txt, selon la documentation d’OpenAI. Ensuite, chaque fournisseur publie des listes d’IP (openai.com/gptbot.json, claude.com/crawling/bots.json, perplexity.com/perplexitybot.json) qui permettent de vérifier qu’un visiteur se réclamant d’un bot est authentique. Notez aussi que robots.txt régit qui a le droit d’explorer ; le fichier distinct llms.txt propose ce que les systèmes IA devraient lire en premier — voyez notre guide llms.txt.

Que faire cette semaine ?

Une checklist concrète pour une petite équipe :

1. Sortez vos logs serveur et cherchez GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot et bingbot. Le baseline d’abord, les opinions ensuite.
2. Auditez votre robots.txt au regard du tableau ci-dessus. Vérifiez qu’aucun bot de recherche ou d’utilisateur n’est bloqué par accident — rappelez-vous que seuls 14 % des grands domaines avaient la moindre directive spécifique à l’IA (Cloudflare, juillet 2025).
3. Tranchez votre position sur l’entraînement. Bloquer GPTBot et ClaudeBot ne coûte aucune visibilité en recherche IA : OpenAI et Anthropic gardent la recherche sur des leviers séparés. Google-Extended est un arbitrage différent — Google indique que cela n’affecte ni l’inclusion ni le classement dans Google Search, mais le même jeton coupe aussi l’ancrage : c’est le seul blocage d’entraînement assorti d’un coût en visibilité IA.
4. Testez une page clé avec JavaScript désactivé ou récupérez-la avec curl. Si le contenu principal manque dans le HTML brut, les crawlers IA ne peuvent pas le voir.
5. Revérifiez les logs après 24 à 48 heures, puisqu’OpenAI indique qu’OAI-SearchBot peut demander environ 24 heures pour traiter les changements de robots.txt.

Cette séquence — baseline, implémentation, mesure avant et après — est exactement ce que nous déroulons dans notre service de visibilité IA, chaque chiffre publié étant étiqueté comme mesuré, calculé ou supposé.