Vous avez bloqué des robots dans votre fichier robots.txt il y a quelques années pour des raisons de sécurité ou de bande passante, et vous n'y avez plus touché depuis. Pendant ce temps, de nouveaux visiteurs non humains sont apparus : les robots des intelligences artificielles génératives. GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot ou encore Google-Extended parcourent aujourd'hui le web pour nourrir leurs réponses. Si votre site les bloque sans que vous le sachiez, vous risquez d'être invisible dans ChatGPT, Perplexity ou les réponses génératives de Google — même si votre référencement GEO est par ailleurs bien travaillé.
Qui sont ces robots, et pourquoi ça vous concerne
Un robot IA n'est pas un visiteur comme un autre. Il ne clique pas, ne convertit pas, ne remplit pas de formulaire. Son rôle est de lire vos pages pour alimenter un modèle de langage ou produire une réponse en temps réel à une requête utilisateur. Certains robots entraînent des modèles, d'autres font du « retrieval » au moment où quelqu'un pose une question — c'est la distinction technique la plus importante à connaître, car elle détermine si bloquer un robot vous rend simplement invisible pour l'entraînement futur, ou si cela vous exclut immédiatement des réponses citées aujourd'hui.
Chaque éditeur documente ses propres user-agents (GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, entre autres), et chacun peut être autorisé ou bloqué indépendamment dans votre robots.txt. C'est là que beaucoup de sites font une erreur de configuration sans s'en rendre compte.
robots.txt : le premier filtre, souvent mal réglé
Le fichier robots.txt reste la porte d'entrée technique de votre site. C'est lui qui autorise ou interdit, poliment, l'accès à vos pages. Beaucoup de CMS et d'extensions de sécurité ajoutent des règles génériques de blocage « anti-bot » qui, sans distinction, excluent aussi les robots IA légitimes. Résultat : un site parfaitement indexé par Google peut être totalement fermé aux robots IA, sans que son propriétaire ne l'ait décidé.
Les erreurs les plus fréquentes
- Un plugin de sécurité bloque tous les user-agents inconnus par défaut.
- Le fichier robots.txt date d'avant l'existence de ces robots et n'a jamais été mis à jour.
- Une règle « Disallow: / » générique, copiée d'un tutoriel, bloque tout sans distinction.
- Le CDN ou l'hébergeur applique un pare-feu qui filtre ces robots en amont, hors de votre robots.txt.
Comment vérifier concrètement, sans supposition
La seule façon fiable de savoir si vous êtes lu est de regarder les faits, pas de deviner.
1. Lire votre fichier robots.txt ligne par ligne
Ouvrez simplement votre-site.fr/robots.txt et cherchez les lignes qui mentionnent GPTBot, ClaudeBot, PerplexityBot, Google-Extended ou CCBot. Si rien n'est mentionné, par défaut ces robots sont généralement autorisés — mais encore faut-il que rien d'autre, plus haut dans la chaîne (pare-feu, CDN), ne les bloque silencieusement.
2. Consulter vos logs serveur
Les logs bruts de votre hébergeur indiquent chaque visite de robot avec son user-agent et le code de réponse HTTP renvoyé (200 pour un accès réussi, 403 pour un refus). C'est l'unique preuve tangible qu'un robot IA a bien pu lire vos pages, ou qu'il a été recalé.
3. Tester manuellement avec un user-agent dédié
Des outils en ligne de commande permettent de simuler une requête avec le user-agent exact d'un robot IA et de voir la réponse renvoyée par votre serveur, indépendamment de ce qu'affiche le robots.txt.
Faut-il tout autoriser ? Le vrai arbitrage
Bloquer ou autoriser n'est pas une question purement technique, c'est un choix business. Autoriser ces robots peut vous rendre visible dans les réponses génératives et renforcer votre crédibilité perçue si votre contenu est cité comme source. Mais cela signifie aussi que votre contenu alimente des modèles sans contrepartie directe, et certains éditeurs de contenu à forte valeur (presse, données propriétaires) font le choix inverse. Pour une TPE ou une PME qui cherche avant tout de la visibilité et des contacts qualifiés, l'ouverture reste, dans la grande majorité des cas, la stratégie la plus cohérente avec un objectif de présence dans les réponses IA.
robots.txt, llms.txt, données structurées : qui fait quoi
Ces trois éléments sont complémentaires, pas interchangeables. Le robots.txt autorise ou bloque l'accès physique au contenu. Le fichier llms.txt propose, lui, un résumé structuré pensé pour orienter un modèle IA vers vos pages les plus importantes — mais il ne sert à rien si le robots.txt bloque l'accès en amont. Les données structurées, quant à elles, aident à qualifier le contenu une fois qu'il est lu. Vérifier l'accès réel des robots IA est donc la première étape, avant même de se poser la question d'un llms.txt ou d'un balisage avancé.
Par où commencer concrètement
Commencez par l'audit : fichier robots.txt, configuration du pare-feu ou du plugin de sécurité, puis quelques minutes de lecture de logs si votre hébergeur les met à disposition. C'est un chantier technique proche du SEO technique classique, mais avec une cible différente : les robots IA plutôt que Googlebot seul. Un audit gratuit SEO & IA permet justement de vérifier ce point rapidement, en complément des bases habituelles d'indexation et de performance.
En pratique
Ne laissez pas un réglage oublié décider, à votre place, si votre entreprise existe ou non pour les IA génératives. Vérifiez votre robots.txt, regardez vos logs si possible, et ajustez en fonction de votre stratégie de visibilité — sans céder à l'excès inverse qui consisterait à tout ouvrir sans réflexion.
Questions fréquentes
Le moyen le plus fiable est de consulter les logs bruts de votre serveur ou de votre hébergeur : ils indiquent le user-agent de chaque visite et le code de réponse renvoyé. À défaut, lire simplement le fichier robots.txt de votre site donne une première indication, mais ne garantit pas qu'aucun pare-feu ne bloque ces robots en amont.
Cela limite effectivement l'usage de votre contenu par ces modèles, mais cela vous exclut aussi des réponses génératives où vous pourriez être cité comme source. C'est un arbitrage à faire selon votre activité et vos objectifs de visibilité, pas une règle universelle.
Les deux fichiers ont des rôles différents : le robots.txt gère l'autorisation d'accès, le llms.txt propose un résumé structuré pour orienter les modèles vers vos contenus clés. Le second n'a d'intérêt que si le premier ne bloque pas déjà l'accès.