robots.txt IA

Saisissez un site : l’outil lit son robots.txt et dit, pour GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended et quinze autres robots d’IA, s’ils peuvent lire la page, avec la ligne exacte qui en décide.

Outil gratuit
Tester l’accès des robots d’IA à un site

L’outil lit le robots.txt du site et dit, pour 20 robots d’IA (OpenAI, Anthropic, Perplexity, Google, Apple, Meta…), s’ils peuvent lire la page et quelle ligne en décide.

Essayer avec :

Audit gratuit

Ce domaine ou ce serveur est le vôtre ?

Des ingénieurs analysent gratuitement votre configuration réseau (DNS, exposition, sécurité) et vous renvoient un diagnostic.

Sans engagement. Pas de newsletter, pas de revente d’adresse. Destinataire : voir la politique de confidentialité.

Comment lire le résultat

La première ligne compte les robots autorisés et bloqués pour la page testée (l’accueil, sauf si vous indiquez un autre chemin, par exemple /blog/). Les robots sont ensuite rangés en trois familles, parce qu’un blocage n’a pas le même effet selon la famille :

  • Entraînement des modèles (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Meta-ExternalAgent…) : les bloquer demande que vos pages ne servent pas à entraîner les prochains modèles. Cela ne retire pas votre site des réponses des IA.
  • Recherche et citations (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot, Applebot) : ce sont eux qui indexent les pages citées dans les réponses. Les bloquer fait disparaître le site des sources de ChatGPT, Claude ou Perplexity.
  • Visites à la demande (ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User…) : une IA ouvre la page parce qu’un utilisateur le lui demande. OpenAI et Perplexity écrivent que robots.txt peut ne pas s’appliquer à ces visites.

La colonne « Ce qui décide » donne la règle gagnante et son numéro de ligne. Elle suit la norme RFC 9309, la même que Google : un robot obéit au groupe User-agent qui porte son nom, et seulement à défaut au groupe User-agent: *. Dans ce groupe, la règle dont le chemin est le plus long l’emporte ; à longueur égale, Allow gagne. « Aucune règle ne vise cette page » veut dire que le groupe existe mais qu’aucune de ses lignes ne touche le chemin testé : le robot est donc autorisé.

En bas du résultat, l’outil affiche le fichier lu, lignes décisives surlignées, les signaux Content-Signal quand le site en déclare (Cloudflare les ajoute pour dire si le contenu peut servir à la recherche, aux réponses d’IA ou à l’entraînement), et les consignes de la page d’accueil : balises meta robots et en-tête X-Robots-Tag.

Trois cas réels, relevés le 20 novembre 2026

lemonde.fr : 10 robots autorisés, 10 bloqués. Le fichier pèse 16 001 octets et compte 368 groupes. ClaudeBot est bloqué par Disallow: / à la ligne 204 de son propre groupe, Google-Extended à la ligne 58, CCBot à la ligne 195, MistralAI-User à la ligne 234. GPTBot, OAI-SearchBot et PerplexityBot ne sont nommés nulle part : ils tombent dans le groupe *, qui ne ferme pas l’accueil. Lecture : le site refuse l’entraînement de plusieurs éditeurs, mais reste lisible par la recherche d’OpenAI et de Perplexity.

nytimes.com : 5 autorisés, 15 bloqués. Chaque robot d’IA a son groupe avec Disallow: / : GPTBot ligne 234, OAI-SearchBot ligne 267, ClaudeBot ligne 181, PerplexityBot ligne 280. Restent ouverts Googlebot, Bingbot, Applebot, Amazonbot (son groupe ne ferme pas l’accueil) et MistralAI-User, absent du fichier. Autre détail visible dans le résultat : l’accueil répond 403 à l’outil, avec un en-tête server: DataDome. Un pare-feu anti-robots filtre donc les visites en plus de robots.txt.

service-public.fr : 20 robots sur 20 autorisés. Un seul groupe, User-agent: *, 446 octets. Ses lignes Disallow ne visent que des chemins précis (/compte/*, /contact/*, /*?xtor=…). En testant le chemin /compte/, tous les robots passent à « Bloqué » par la règle Disallow: /compte/*.

Erreurs fréquentes et corrections

  • Bloquer GPTBot en pensant sortir de ChatGPT. GPTBot ne sert qu’à l’entraînement. Pour ne plus être cité dans la recherche de ChatGPT, c’est OAI-SearchBot qu’il faut viser. À l’inverse, pour être cité, laissez OAI-SearchBot, Claude-SearchBot et PerplexityBot ouverts.
  • Croire que Google-Extended retire le site des AI Overviews. Google-Extended n’est pas un robot : c’est une consigne lue par Google pour l’usage des pages dans Gemini. Les AI Overviews dépendent de Googlebot, comme la recherche classique.
  • Un groupe nommé qui annule le groupe *. Dès qu’un groupe porte le nom d’un robot, ce robot ignore entièrement User-agent: *. Si vous écrivez un groupe GPTBot pour ouvrir un seul dossier, recopiez-y les interdictions générales.
  • Fichier servi en page HTML. Certains serveurs renvoient leur page d’erreur avec un code 200 à l’adresse /robots.txt. Aucun robot n’y trouve de règle ; l’outil le signale.
  • robots.txt en erreur 5xx. Un fichier qui répond 500 ou 503 vaut interdiction totale pour les robots qui suivent la norme. Une panne de quelques heures suffit à couper l’exploration.
  • Compter sur noai ou noimageai. Ces valeurs de balise ne font partie d’aucune norme ; OpenAI, Anthropic et Google ne disent pas les lire.

Limites de l’outil

L’outil lit ce que le site publie, il ne voit pas ce que le serveur fait. Un pare-feu (Cloudflare, DataDome, Wordfence) peut refuser un robot d’IA autorisé par robots.txt, et ce réglage ne se voit pas de l’extérieur : quand le site passe par Cloudflare, l’outil le signale. robots.txt reste une demande : les robots des grands éditeurs disent la respecter, d’autres non. La liste suit la documentation publiée par chaque éditeur ; un robot non listé obéit, comme les autres, au groupe qui porte son nom ou au groupe *. Le fichier est lu jusqu’à 500 Ko, la limite que Google applique. Les résultats sont gardés 10 minutes : après une modification, attendez ce délai pour voir la nouvelle version.

Questions fréquentes

Comment bloquer ChatGPT dans robots.txt ?

OpenAI utilise trois robots. Pour refuser l’entraînement : User-agent: GPTBot puis Disallow: /. Pour sortir des résultats de recherche de ChatGPT : le même bloc pour OAI-SearchBot. ChatGPT-User ouvre une page à la demande d’un utilisateur ; OpenAI écrit que robots.txt peut ne pas s’appliquer à ces visites.

Bloquer GPTBot retire-t-il mon site des réponses de ChatGPT ?

Non. GPTBot collecte pour l’entraînement des modèles. Les pages citées dans la recherche de ChatGPT viennent d’OAI-SearchBot. Un site peut refuser GPTBot et rester cité, tant qu’OAI-SearchBot est autorisé.

Google-Extended empêche-t-il mon site d’apparaître dans les AI Overviews ?

Non. Google indique que Google-Extended ne change rien à la présence dans la recherche Google. Les AI Overviews et le mode IA s’appuient sur Googlebot. Bloquer Googlebot ferait disparaître le site de Google tout entier.

Quels robots faut-il autoriser pour être cité par les IA ?

Ceux de la famille « Recherche et citations » : OAI-SearchBot pour ChatGPT, Claude-SearchBot pour Claude, PerplexityBot pour Perplexity, Googlebot pour Gemini et les AI Overviews, Bingbot pour Copilot. Les robots d’entraînement peuvent être bloqués sans effet sur ces citations.

Combien de temps faut-il pour qu’une modification de robots.txt soit prise en compte ?

Cela dépend de chaque robot, qui garde le fichier en mémoire un certain temps. OpenAI indique environ 24 heures pour OAI-SearchBot. Google garde en général le fichier jusqu’à 24 heures. Cet outil, lui, relit le fichier au bout de 10 minutes.

robots.txt suffit-il à empêcher la collecte de mes pages ?

Non. C’est une consigne, pas une barrière. Les robots des grands éditeurs disent la suivre ; pour refuser réellement l’accès, il faut un blocage côté serveur ou pare-feu, en vérifiant l’identité des robots (adresses IP publiées par chaque éditeur), car un nom de robot se copie facilement.

Outils et pages liés

Newsletter

Recevez nos guides IP & réseau

Nouveaux outils, définitions et astuces sécurité, directement par email. Pas de spam, désinscription en un clic.