robots.txt et crawlers IA : le guide 2026

La réponse courte

Cessez de considérer les « bots IA » comme un bloc unique. Il en existe trois catégories aux économies radicalement différentes, et une seule ligne Disallow appliquée à toutes est presque toujours le mauvais arbitrage.

Un crawler d'entraînement demande à apprendre de votre catalogue. Un indexeur de recherche demande à pouvoir le citer. Un outil de récupération déclenché par l'utilisateur, c'est un client, à l'instant même, qui pose une question sur votre produit. Bloquer le premier relève d'une décision de licence. Bloquer le troisième, c'est raccrocher au nez.

Forrester a établi que 94 % des acheteurs professionnels ont eu recours à l'IA lors de leur dernier processus d'achat. Une part significative des requêtes qui atteignent votre serveur d'origine avec un user-agent IA ne relève pas du scraping : ce sont des personnes qui ont une nomenclature ouverte sous les yeux, en pleine décision. Votre robots.txt devrait faire la distinction entre les deux ; la plupart ne la font pas.

Tous les user-agents IA qui comptent en 2026

Cinq points de ce tableau sont régulièrement mal compris ou purement et simplement ignorés, et ils méritent d'être énoncés explicitement.

`Google-Extended` et `Applebot-Extended` ne sont pas des crawlers. Ni l'un ni l'autre ne récupère quoi que ce soit. Ce sont des jetons d'autorisation : Google-Extended détermine si un contenu déjà exploré par Googlebot peut servir à entraîner Gemini et à ancrer ses réponses, et la documentation d'Apple précise explicitement qu'Applebot-Extended « n'explore pas les pages web » et sert « uniquement à déterminer comment utiliser les données explorées par le user-agent Applebot ». Interdire Applebot-Extended ne vous retire pas des résultats de Siri, Spotlight ou Safari.

Anthropic fait figure d'exception sur les récupérations déclenchées par l'utilisateur. OpenAI indique, à propos de ChatGPT-User, que « ces actions étant initiées par un utilisateur, les règles robots.txt peuvent ne pas s'appliquer ». Perplexity indique que Perplexity-User « ignore généralement les règles robots.txt ». La documentation de Google précise, au sujet de ses outils de récupération déclenchés par l'utilisateur : « la récupération ayant été demandée par un utilisateur, ces outils ignorent généralement les règles robots.txt ». Amazon indique qu'Amzn-User « peut ne pas suivre l'ensemble des directives robots.txt ». Anthropic, à l'inverse, documente le fait que ses bots respectent robots.txt et désigne Claude-User comme un jeton que les propriétaires de sites peuvent utiliser pour contrôler les requêtes initiées par un utilisateur. Si vous interdisez l'ensemble du lot, Claude sera le seul à s'arrêter réellement — soit exactement l'inverse de ce que visent la plupart des équipes.

Amazon et Meta exploitent chacun une flotte scindée. Au-delà d'Amazonbot, Amazon documente Amzn-SearchBot (expériences de recherche, dont Alexa et Rufus) et Amzn-User (actions utilisateur en direct), dont elle affirme qu'ils n'explorent pas le web pour l'entraînement d'IA générative. Meta exploite Meta-ExternalAgent pour l'entraînement et l'indexation, et Meta-ExternalFetcher pour les récupérations demandées par un utilisateur, ce dernier pouvant contourner robots.txt.

Bytespider est un problème de politique, pas un problème de robots.txt. ByteDance affirme respecter robots.txt ; les exploitants de sites constatent massivement le contraire. Si vous voulez l'arrêter, arrêtez-le au niveau de l'edge et ne comptez pas sur le fichier.

Une remarque sur `Gemini-Deep-Research` : la documentation publiée par Google ne fait pas encore figurer ce jeton parmi ses crawlers courants ni parmi ses outils de récupération déclenchés par l'utilisateur, mais il est en usage actif et les grands distributeurs le traitent déjà nommément — le robots.txt de Digi-Key autorise explicitement Google-Extended et Gemini-Deep-Research, aux côtés de GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User et Claude-SearchBot. Incluez-le : un jeton non reconnu dans robots.txt est sans conséquence.

Que coûte réellement le blocage de chaque catégorie ?

Pour un fabricant ou un distributeur dont le catalogue est déjà public et déjà répliqué chez les agrégateurs, bloquer la catégorie « entraînement » est essentiellement symbolique : les données parviennent de toute façon aux modèles, via les fiches des distributeurs et Common Crawl. Ce qui change, c'est la version de vos données que retient le modèle, et à qui elle appartient. Bloquer les deux autres catégories n'apporte strictement aucun bénéfice pour un catalogue public.

Des robots.txt prêts à copier-coller

Recette A : visibilité maximale auprès des agents

Le réglage par défaut pertinent pour un fabricant ou un distributeur dont le catalogue est public et dont l'intérêt commercial est d'être trouvé et cité avec exactitude.

# --- Answer engines and user-triggered fetchers ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
User-agent: Amzn-SearchBot
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Training crawlers and permission tokens ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Everything else ---
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-products.xml

Recette B : autoriser la récupération, refuser l'entraînement

Pour les organisations qui ont délibérément décidé de ne pas contribuer à l'entraînement des modèles, tout en voulant rester trouvables et citables. Mesurez-en le coût : interdire Google-Extended retire vos contenus de l'ancrage des réponses de Gemini autant que de l'entraînement.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /account/

Recette C : catalogue ouvert, tout le reste fermé

Utile lorsque le catalogue et la bibliothèque documentaire sont les actifs que vous voulez faire remonter, et que le reste du patrimoine web n'est que du bruit.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Disallow: /
Allow: /products/
Allow: /catalog/
Allow: /datasheets/
Allow: /documents/
Allow: /sitemap-products.xml

Au sens de la RFC 9309, c'est la règle dont le chemin correspondant est le plus long qui l'emporte : les lignes Allow prévalent donc sur le Disallow: / global pour ces préfixes. Vérifiez le résultat plutôt que de le présumer — le comportement des analyseurs sur les cas limites reste variable.

Exprimer un « non » qui porte : Content Signals

robots.txt contrôle l'accès. Il ne dit rien de l'usage une fois les octets servis. La Content Signals Policy de Cloudflare, lancée le 24 septembre 2025, ajoute au même fichier une préférence d'usage lisible par machine, avec trois signaux : search (constituer un index de recherche et fournir des résultats de recherche), ai-input (fournir le contenu en entrée à un ou plusieurs modèles d'IA) et ai-train (entraîner ou affiner des modèles d'IA).

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /account/

Cloudflare a appliqué search=yes, ai-train=no à plus de 3,8 millions de domaines ayant activé son robots.txt géré, en laissant délibérément ai-input non renseigné plutôt que de présumer de l'intention. C'est une préférence déclarée, non un mécanisme d'application — mais c'est une déclaration d'intention claire, datée et lisible par machine, ce qui a de la valeur.

Pourquoi le silence devient un « non »

Pendant vingt ans, l'absence de règle dans robots.txt signifiait « oui ». Ce comportement par défaut est en train d'être retiré au niveau de la couche d'infrastructure, et des fabricants qui n'ont jamais touché à ce fichier se retrouvent désinscrits par leur CDN.

• 1er juillet 2025 — Cloudflare, qui se trouve en frontal d'environ un cinquième du web, est devenu le premier grand fournisseur d'infrastructure à bloquer les crawlers IA par défaut, en demandant d'emblée à chaque domaine nouvellement intégré s'il souhaite les autoriser.
• 24 septembre 2025 — la Content Signals Policy est publiée, avec ai-train=no appliqué par défaut à 3,8 millions de domaines gérés.
• 1er juillet 2026 — Cloudflare a annoncé qu'à compter du 15 septembre 2026, sur les nouveaux domaines, les nouveaux sites de clients existants et l'ensemble des clients existants de l'offre gratuite, les catégories de crawlers Training et Agent seront bloquées par défaut sur les pages affichant de la publicité. La catégorie Search reste autorisée. Les crawlers polyvalents qui mêlent Search et Training héritent de la règle la plus restrictive.

Lisez ce dernier point avec précision, car il est très souvent mal cité. Il ne vise que les pages monétisées par la publicité, ce que la plupart des catalogues de fabricants ne sont pas. Le changement qui vous concerne déjà est celui de 2025 : si votre site a été intégré récemment à un CDN moderne, ou s'il repose sur une offre gratuite, vous refusez peut-être déjà les crawlers IA sans que personne ne l'ait décidé. Vérifiez avant de présumer.

robots.txt est une demande. Votre WAF est ce qui l'applique.

C'est là que la plupart des configurations bien intentionnées échouent. robots.txt est un protocole volontaire, lu par les clients qui acceptent de s'y conformer. Votre gestionnaire de bots, lui, est un verrou strict qui classe le trafic sur l'IP source vérifiée, et les jeux de règles par défaut soumettent à un challenge ou bloquent systématiquement tout ce qui ne ressemble pas à un navigateur. Un crawler qui lit Allow: / puis reçoit un challenge JavaScript a bel et bien été bloqué, quoi qu'en dise le fichier.

Tous les grands opérateurs publient leurs plages d'adresses pour que vous puissiez les inscrire correctement en liste d'autorisation :

Pour vérifier qu'une adresse précise relevée dans vos logs appartient réellement à OpenAI :

python3 - <<'EOF'
import ipaddress, json, urllib.request
probe = ipaddress.ip_address("132.196.86.5")
data = json.load(urllib.request.urlopen("https://openai.com/gptbot.json"))
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix"))
        for p in data["prefixes"]]
print(any(probe in n for n in nets if n.version == probe.version))
EOF

Trois règles au niveau de l'edge couvrent l'essentiel :

1. 01Inscrivez les plages vérifiées en liste d'autorisation avant le déclenchement de votre règle de score de bot, en la limitant aux seuls chemins du catalogue public et des documents.
2. 02Exemptez ces chemins des challenges JavaScript et des limitations de débit. Un client qui n'est pas un navigateur ne peut pas résoudre un challenge, et un crawler qui indexe 40 000 SKU déclenchera une limite de débit calibrée pour des humains.
3. 03N'établissez pas votre liste d'autorisation sur la chaîne user-agent. C'est un en-tête en texte libre. Filtrez sur l'IP, puis, éventuellement, sur le user-agent.

N'oubliez pas que chaque origine se configure séparément. Votre site produit, votre sous-domaine de documentation et le nom d'hôte de votre CDN ont chacun besoin de leur propre robots.txt et de leur propre politique WAF.

Comment vérifier dans mes logs que cela a fonctionné ?

Une configuration que vous n'avez pas vérifiée dans les logs n'est qu'une hypothèse. Laissez passer quelques jours avant de juger du résultat : les opérateurs mettent robots.txt en cache, la documentation de Meta prévient que les modifications peuvent mettre jusqu'à 24 heures à prendre effet, et Amazon indique que ses crawlers peuvent utiliser une copie mise en cache au cours des 30 derniers jours. Ensuite :

grep -aiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Gemini-Deep-Research|Applebot|Amazonbot|Bytespider|CCBot|Meta-External" access.log | wc -l

Ventilez ensuite par agent et par code de statut — c'est ce chiffre-là qui compte :

awk '/GPTBot/ {print $9}' access.log | sort | uniq -c | sort -rn

Ce que vous cherchez :

1. 01Un volume non nul pour chaque agent. Zéro requête d'un agent IA quelconque sur 72 heures pour un catalogue public signifie que vous êtes bloqué en amont, et pas seulement peu populaire.
2. 02Une distribution de statuts dominée par les 2xx. Un mur de 403 signifie que le WAF prend le pas sur robots.txt. Un mur de 404 signifie que votre sitemap ou vos liens internes pointent vers des URL qui n'existent plus.
3. 03La présence des chemins documentaires, et pas seulement des chemins produits. Si /datasheets/ n'apparaît jamais, votre bibliothèque technique est invisible.
4. 04Des tailles de réponse cohérentes. Des 200 répétés de 4 à 15 Ko sur des URL produit signifient en général que les crawlers reçoivent une coquille vide rendue côté client — techniquement autorisée, pratiquement inutile.
5. 05La simple présence des agents déclenchés par l'utilisateur. Le trafic ChatGPT-User, Claude-User et Perplexity-User est ce que vous avez de plus proche d'un signal en temps réel de l'intérêt acheteur. Il mérite un suivi à part.

Erreurs fréquentes

• Bloquer par accident les outils de récupération déclenchés par l'utilisateur, dans une règle globale visant les crawlers d'entraînement.
• Configurer correctement robots.txt et laisser le WAF en l'état. Ce sont deux interrupteurs distincts, et les deux doivent être positionnés.
• Oublier le sous-domaine de documentation, le DAM et le CDN, qui constituent chacun une origine distincte au sens de la RFC 9309.
• Interdire aux crawlers l'accès aux ressources CSS et JavaScript. Cela n'a aucune importance pour les crawlers en mode texte seul, mais Googlebot et Applebot effectuent tous deux un rendu, et les priver de ces ressources dégrade ce qu'ils voient.
• Supposer qu'un agrégateur relaie fidèlement vos données. Il relaie ce qu'il a scrapé, à la date où il l'a scrapé.
• Considérer llms.txt comme un substitut. Aucun opérateur majeur ne s'est engagé à le lire, et les logs montrent généralement qu'il n'est jamais demandé.

Partsgraph a audité 984 domaines de distributeurs et de fabricants dans le monde, en Amérique du Nord, en Europe et en Asie, en août 2026. Seuls 19 % publiaient une politique explicite à l'égard des crawlers IA, quelle qu'elle soit — et parmi ceux-là, plus de deux fois plus bloquaient un crawler IA majeur qu'ils n'en invitaient un. Aucun n'annonçait de point de terminaison MCP. Score de visibilité IA médian : 50 sur 100. L'écart n'est pas encore concurrentiel — et c'est précisément pour cela qu'un robots.txt bien formé reste l'une des heures de travail les plus rentables dont dispose une équipe données produit.

Vérifiez ce que les crawlers IA peuvent réellement atteindre sur votre domaine avec l'outil d'évaluation gratuit de Partsgraph sur [/audit](/audit).