Accueil / Blog / Robots d'IA et robots.txt

Robots d'IA et robots.txt : que bloquer ou autoriser ?

En bref. Les robots d'IA ont trois usages : entraîner des modèles, alimenter une recherche, ou lire une page à la demande d'un utilisateur. On peut refuser l'entraînement tout en restant visible dans les réponses. Attention : bloquer par erreur les robots de recherche réduit vos chances d'être cité, et robots.txt n'est pas une barrière technique.

Dernière mise à jour : 20 octobre 2026

Trois usages à distinguer

D'après la documentation des éditeurs, consultée en octobre 2026.

Les principaux éditeurs séparent leurs robots par fonction. C'est ce qui permet des choix nuancés : refuser que vos contenus servent à entraîner un modèle, tout en acceptant d'être lu pour une recherche.

Où en êtes-vous ? Recevez un mini-audit offert : nous testons trois de vos questions clients sur deux assistants d'IA, sans engagement.

Les robots, éditeur par éditeur

Robot	Éditeur	Usage annoncé	À savoir
GPTBot	OpenAI	Collecte pour l'entraînement des modèles	Séparé du robot de recherche
OAI-SearchBot	OpenAI	Recherche dans ChatGPT	À autoriser pour apparaître dans les résultats de recherche de ChatGPT
ChatGPT-User	OpenAI	Page lue à la demande d'un utilisateur	OpenAI indique que robots.txt peut ne pas s'appliquer
ClaudeBot	Anthropic	Collecte de contenus publics pour l'entraînement	Anthropic indique respecter robots.txt
Claude-SearchBot	Anthropic	Amélioration de la qualité des résultats de recherche	Le désactiver peut réduire votre visibilité dans les réponses
Claude-User	Anthropic	Accès déclenché par la question d'un utilisateur	Le désactiver peut réduire votre visibilité sur ces requêtes
PerplexityBot	Perplexity	Indexation pour la recherche Perplexity	Respecte robots.txt
Perplexity-User	Perplexity	Page lue à la demande d'un utilisateur	Ignore généralement robots.txt, d'après la documentation
Google-Extended	Google	Jeton de contrôle pour l'usage de vos contenus par Gemini	Sans effet sur l'indexation ni le classement dans Google Search

Ces usages sont ceux annoncés par les éditeurs et peuvent évoluer. Consultez leur documentation (liens en bas de page) avant de modifier votre fichier.

Trois stratégies possibles

Visibilité maximale. Vous autorisez tous les robots. Vos contenus peuvent servir à l'entraînement et aux réponses.
Visible, mais pas pour l'entraînement. Vous refusez GPTBot, ClaudeBot et Google-Extended, et vous gardez ouverts les robots de recherche et d'accès à la demande. Bloquer GPTBot n'empêche pas d'apparaître dans la recherche de ChatGPT : c'est un autre robot, OAI-SearchBot.
Fermeture. Vous refusez tout. Vos pages seront moins susceptibles d'être citées. C'est un choix légitime pour certains contenus, à faire en connaissance de cause.

Exemple : refuser l'entraînement, rester visible

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://exemple.fr/sitemap.xml

Remplacez le domaine par le vôtre et adaptez les règles à votre choix.

Les limites de robots.txt

Ce n'est pas une barrière technique. Il repose sur le respect des règles par chaque robot. Pour protéger vraiment un contenu, il faut une authentification ou un pare-feu.
Certains accès déclenchés par un utilisateur peuvent l'ignorer. OpenAI le précise pour ChatGPT-User, Perplexity pour Perplexity-User.
Un pare-feu peut bloquer sans que robots.txt le dise. Si votre hébergeur ou un service de protection filtre les robots, vérifiez qu'il laisse passer ceux que vous voulez autoriser.

Modifier robots.txt en pratique

Où est-il ? À la racine du domaine (/robots.txt). Un fichier placé ailleurs n'est pas lu.
Sur un CMS comme WordPress, il peut être généré par une extension ou un réglage : modifiez-le à cet endroit, sinon votre changement sera écrasé.
Avec un CDN ou un service de protection, vérifiez que les règles du service ne bloquent pas ce que votre fichier autorise.
Après modification, rouvrez le fichier en ligne et testez-le.

Quand le revoir

Relisez-le quand vous changez d'hébergeur, de CMS ou de service de protection, et au moins une fois par an : les éditeurs ajoutent ou renomment parfois leurs robots.

Vérifier en deux minutes

Ouvrez /robots.txt sur votre domaine.
Cherchez toute règle Disallow: / appliquée à User-agent: * ou à un robot d'IA.
Collez le fichier dans le testeur robots.txt : il indique, robot par robot, s'il est autorisé ou bloqué.

Sources et références

Documentation consultée en octobre 2026. Ces documents évoluent : vérifiez-les avant d'agir.

Questions fréquentes

Bloquer GPTBot m'empêche-t-il d'être cité par ChatGPT ?

Pas forcément : GPTBot concerne l'entraînement. La recherche dans ChatGPT utilise un autre robot, OAI-SearchBot, que vous pouvez laisser ouvert.

Faut-il bloquer Google-Extended pour apparaître dans les AI Overviews ?

D'après Google, Google-Extended contrôle l'usage de vos contenus par Gemini et n'agit pas sur l'indexation ni le classement dans la recherche. Les AI Overviews dépendent de l'indexation par Googlebot.

Le blocage est-il efficace ?

Seulement avec les robots qui respectent le fichier. Il ne remplace pas une protection technique.

Combien de temps pour que mes changements soient pris en compte ?

Cela dépend de chaque éditeur et de la fréquence de passage de ses robots. Vérifiez la documentation de chacun.

Savez-vous ce que les IA disent de vous aujourd'hui ?

Nous posons trois de vos questions clients à deux assistants d'IA et nous vous montrons qui est cité à votre place. Gratuit, sans engagement.

Recevoir mon mini-audit offert Voir l'audit complet

Prix publics dès 790 € · Offres et tarifs · Exemple de rapport