GPTBot, ClaudeBot : faut-il bloquer les robots IA ?

Chaque jour, des dizaines de robots passent sur votre site sans que vous le sachiez : Googlebot bien sûr, mais aussi GPTBot, ClaudeBot, PerplexityBot ou Google-Extended. Certains préparent les réponses de ChatGPT, Claude ou Gemini à votre sujet. D'autres aspirent votre contenu pour entraîner de futurs modèles, sans jamais vous renvoyer de visiteur. Faut-il les bloquer, les autoriser, ou faire le tri ? La question est devenue concrète pour toute entreprise qui mise sur sa visibilité dans les réponses des IA génératives.

Deux familles de robots, deux enjeux différents

La confusion vient souvent d'un raccourci : « bot IA » n'est pas une catégorie unique. On distingue en réalité deux usages bien séparés, chacun avec son propre identifiant technique (user-agent) :

• Les robots d'entraînement (GPTBot, ClaudeBot, CCBot, Bytespider...) : ils collectent du contenu pour nourrir les futurs modèles, sans lien de retour ni citation immédiate.
• Les robots de recherche et de citation (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot...) : ils consultent votre site en temps réel pour répondre à une question posée à l'IA, et peuvent vous citer avec un lien.

Bloquer les premiers ne vous rend pas invisible pour les seconds : ce sont des robots distincts, avec des règles distinctes dans votre fichier robots.txt. C'est tout l'enjeu d'une bonne gestion de l'accès des robots IA à votre site.

Ce que montre l'actualité récente

Le sujet n'a rien de théorique. Un Observatoire des bots et crawlers sur les sites de presse, créé par le Geste avec Botscorner et 255Hex.ai, a mesuré le trafic de ces robots sur 14 éditeurs français pendant cinq mois et a présenté le 13 octobre 2026 un classement des bots IA les plus actifs : OpenAI arrive en tête depuis le mois de mai, avec environ 59,9 millions de hits au total (source : mind Media, 13 octobre 2026).

Autre signal fort : GPTBot serait le crawler le plus fréquemment bloqué dans les fichiers robots.txt, devant ClaudeBot, une tendance en nette hausse ces dernières années (source : Référencement Internet Web). Les éditeurs arbitrent donc déjà, et de plus en plus finement.

Enfin, l'infrastructure a aussi bougé : depuis le 15 septembre 2026, Cloudflare applique de nouveaux réglages par défaut qui bloquent les robots d'exploration à usage mixte sur les pages hébergeant de la publicité, en distinguant désormais trois comportements : recherche, agent et entraînement (source : Dataconomy FR, Websource). Concrètement, pour les sites hébergés derrière Cloudflare, l'arbitrage ne se joue plus seulement dans le fichier robots.txt mais aussi dans les réglages du compte CDN.

Quelle stratégie pour une TPE ou une PME ?

Pour la majorité des entreprises qui cherchent à être citées par ChatGPT, Claude ou Perplexity, la logique « tout bloquer » est contre-productive : elle supprime toute chance d'apparaître dans une réponse générée, un enjeu central du référencement GEO. À l'inverse, « tout autoriser » revient à offrir gratuitement du contenu aux modèles sans aucune garantie de retour.

L'approche la plus raisonnable, et la plus répandue parmi les éditeurs qui suivent le sujet de près, consiste à distinguer les deux familles :

• Autoriser les robots de recherche/citation (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot) pour rester éligible aux réponses des IA.
• Arbitrer au cas par cas les robots d'entraînement (GPTBot, ClaudeBot, CCBot) selon votre sensibilité à la réutilisation de votre contenu.
• Ne jamais toucher à Googlebot et Bingbot, qui restent indépendants de cette logique.

Exemple de structure robots.txt

Un fichier robots.txt bien structuré sépare clairement les règles, en plaçant les directives spécifiques avant la règle générale :

• Robots de recherche IA : règle « Allow » explicite.
• Robots d'entraînement : règle « Disallow » si vous souhaitez les exclure.
• Googlebot, Bingbot : aucune modification.
• Une ligne Sitemap pointant vers votre sitemap XML.

Ce travail technique rejoint directement les fondamentaux du référencement technique : un fichier mal construit, par exemple une règle générale trop large placée en premier, peut bloquer sans le vouloir l'ensemble des robots, y compris ceux qui vous apportent de la visibilité.

Robots.txt ne fait pas tout

Un point mérite d'être rappelé : robots.txt est une convention que les robots respectent volontairement, pas un verrou technique. C'est pourquoi des acteurs comme Cloudflare proposent désormais un filtrage réel au niveau du pare-feu, en complément du fichier texte. Pour une TPE, cela veut dire deux choses : vérifier son robots.txt, mais aussi, si le site est passé par un CDN ou un hébergeur avec des réglages de sécurité avancés, contrôler que ces réglages n'excluent pas par erreur les robots qui vous citent. Un fichier llms.txt peut compléter cette démarche en donnant aux IA un résumé structuré de votre activité, en plus du robots.txt classique.

Ce qu'il faut retenir pour votre site

La question « bloquer ou autoriser » n'a pas de réponse universelle : elle dépend de votre secteur, de la valeur de votre contenu et de votre priorité entre protection de la propriété intellectuelle et visibilité dans les réponses IA. Ce qui est certain, c'est qu'une configuration par défaut, jamais relue, expose à deux risques opposés : nourrir des modèles sans contrepartie, ou disparaître silencieusement des réponses de ChatGPT et consorts. Un audit SEO & GEO permet de vérifier concrètement quels robots accèdent à votre site aujourd'hui, et d'ajuster la configuration en connaissance de cause plutôt que par défaut.

En pratique, commencez simple : vérifiez votre robots.txt actuel, identifiez les robots déjà bloqués par un plugin de sécurité ou votre hébergeur, puis décidez consciemment pour chaque famille de robots. Un audit gratuit SEO & IA peut constituer un premier état des lieux rapide avant d'ajuster vos réglages.

Questions fréquentes