Aller au contenu

Les guides · relu le 10 octobre 2026

Le robots.txt pour les IA

Quels robots laisser entrer pour que ChatGPT, Perplexity, Claude, Google, Gemini et Copilot puissent citer votre boutique, lesquels bloquer sans rien perdre, et comment vérifier.

Ce que fait le robots.txt

Le fichier robots.txt, à la racine de votre boutique (votreboutique.fr/robots.txt), dit aux robots quelles pages ils ont le droit de lire. Les IA le respectent : un robot interdit ne lit pas vos pages, et son IA ne peut ni les citer ni les recommander. La règle de lecture est une norme publique (RFC 9309) : un robot suit le groupe qui porte son nom, et seulement à défaut celui de User-agent: *.

Les robots qui comptent pour être cité

Chaque IA a un robot de recherche : c’est lui qui décide si vos pages peuvent apparaître dans ses réponses.

IARobot à laisser entrerSource
ChatGPTOAI-SearchBotOpenAI
PerplexityPerplexityBotPerplexity
ClaudeClaude-SearchBot et Claude-UserAnthropic
Google (AI Overviews, AI Mode)GooglebotGoogle
Geminila règle Google-ExtendedGoogle
CopilotBingbotMicrosoft

Google-Extended n’est pas un robot mais une règle : Google écrit qu’elle contrôle aussi l’utilisation de votre site dans les réponses de Gemini. L’interdire retire donc vos pages de Gemini.

Les robots que vous pouvez bloquer sans rien perdre

Les robots d’entraînement (GPTBot d’OpenAI, ClaudeBot d’Anthropic…) servent à entraîner les modèles, pas à répondre aux questions. Les bloquer est votre choix et n’a pas d’effet sur la recherche (mêmes sources). ChatGPT-User et Perplexity-User ouvrent une page à la demande d’un utilisateur ; leurs éditeurs préviennent qu’ils peuvent ignorer le robots.txt.

Vérifier et corriger

  1. Ouvrez votre robots.txt et cherchez chaque ligne Disallow. Une ligne Disallow: / sous User-agent: * interdit tout à tous les robots qui n’ont pas de groupe à leur nom.
  2. Pour laisser passer un robot sans changer les règles des autres, ajoutez-lui un groupe à son nom : User-agent: OAI-SearchBot, puis Allow: /. Un robot suit le groupe à son nom et ignore alors celui de *.
  3. Si le fichier répond par une erreur du serveur (code 5xx), les robots considèrent que tout est interdit : il doit répondre normalement, ou être absent (tout est alors permis).
  4. Sur PrestaShop, le fichier est à la racine de la boutique ; le bouton « Générer le fichier robots.txt » (Paramètres de la boutique › Trafic & SEO) le remplace entièrement : après une nouvelle génération, refaites vos corrections (PrestaShop, SEO et URL).
  5. Sur WordPress et WooCommerce, un fichier robots.txt à la racine remplace celui que WordPress écrit ; sans ce fichier, une ligne qui interdit vient d’un thème ou d’une extension (WordPress, robots_txt).
  6. Indiquez aussi l’adresse de votre plan du site, par une ligne Sitemap: : les robots y trouvent vos fiches.

Le robots.txt ne suffit pas : le pare-feu

Un pare-feu ou un service anti-robots (Cloudflare, DataDome, Imperva…) peut refuser un robot que le robots.txt autorise. Cloudflare propose par exemple de bloquer les robots d’IA dans son tableau de bord (Cloudflare, robots d’IA) : vérifiez-y que les robots de recherche ci-dessus sont autorisés. OpenAI publie aussi les adresses de son robot de recherche, à autoriser si votre pare-feu filtre par adresse (openai.com/searchbot.json).

Ce que Citedshop mesure

Le premier pilier de la note vérifie, pour chacune de ces six IA, le robots.txt, le pare-feu et le plan du site, page par page. Si une IA ne peut pas entrer, la note ne dépasse pas 69 ; si c’est ChatGPT, ou trois IA ou plus, elle ne dépasse pas 39 (la méthode, pilier 1).

Testez votre boutique

Citedshop vérifie, critère par critère, ce que ChatGPT, Perplexity, Claude, Google, Gemini et Copilot peuvent lire de votre boutique. Gratuit, sans inscription.

Les autres guides : Les données produit que lisent les IA · Une fiche produit que les IA recommandent · Référencer sa boutique sur ChatGPT · La visibilité IA d’une boutique PrestaShop · WooCommerce et ChatGPT