# robots.txt et crawlers IA : le guide 2026

> Tous les user-agents IA qui comptent en 2026, ceux qui respectent robots.txt, des configs prêtes à copier, les autorisations WAF et le contrôle par les logs.

**Language:** fr  
**Published:** 2026-08-09  
**Category:** Solution · **Tags:** robots.txt, AI crawlers, GPTBot, ClaudeBot, bot management, WAF, Content Signals  
**Canonical:** https://partsgraph.ai/fr/blog/robots-txt-for-ai-crawlers-guide

## En bref

**Comment configurer robots.txt pour les crawlers IA en 2026 ?**

Traitez les clients IA comme trois catégories distinctes, et non comme une seule : les crawlers d'entraînement (GPTBot, ClaudeBot, CCBot, Google-Extended), les indexeurs de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) et les outils de récupération déclenchés par l'utilisateur (ChatGPT-User, Perplexity-User, Gemini-Deep-Research). Les deux premières collectent du contenu pour l'entraînement des modèles et pour les index de récupération que citent les moteurs de réponse, et toutes deux respectent robots.txt. La troisième se déclenche lorsqu'une personne réelle pose une vraie question, et la plupart des opérateurs documentent que robots.txt peut ne pas s'y appliquer. Bloquer la catégorie entraînement relève d'une décision de licence ; bloquer les outils de récupération déclenchés par l'utilisateur, c'est refuser de répondre à un client en direct.

---

## La réponse courte

Cessez de considérer les « bots IA » comme un bloc unique. Il en existe trois catégories aux économies radicalement différentes, et une seule ligne `Disallow` appliquée à toutes est presque toujours le mauvais arbitrage.

> **Figure.** The three classes of AI user-agent — training crawlers, search indexers and user-triggered fetchers — and why one blanket rule is the wrong trade.

> Un crawler d'entraînement demande à apprendre de votre catalogue. Un indexeur de recherche demande à pouvoir le citer. Un outil de récupération déclenché par l'utilisateur, c'est un client, à l'instant même, qui pose une question sur votre produit. Bloquer le premier relève d'une décision de licence. Bloquer le troisième, c'est raccrocher au nez.

Forrester a établi que **94 % des acheteurs professionnels ont eu recours à l'IA lors de leur dernier processus d'achat**. Une part significative des requêtes qui atteignent votre serveur d'origine avec un user-agent IA ne relève pas du scraping : ce sont des personnes qui ont une nomenclature ouverte sous les yeux, en pleine décision. Votre robots.txt devrait faire la distinction entre les deux ; la plupart ne la font pas.

## Tous les user-agents IA qui comptent en 2026

| Jeton | Opérateur | Catégorie | Respecte robots.txt | Vérifier l'IP source via |
|---|---|---|---|---|
| `GPTBot` | OpenAI | Entraînement | Oui | [gptbot.json](https://openai.com/gptbot.json) |
| `OAI-SearchBot` | OpenAI | Index de recherche | Oui | [searchbot.json](https://openai.com/searchbot.json) |
| `ChatGPT-User` | OpenAI | Déclenché par l'utilisateur | « peuvent ne pas s'appliquer » | [chatgpt-user.json](https://openai.com/chatgpt-user.json) |
| `ClaudeBot` | Anthropic | Entraînement | Oui | [bots.json](https://claude.com/crawling/bots.json) |
| `Claude-SearchBot` | Anthropic | Index de recherche | Oui | [bots.json](https://claude.com/crawling/bots.json) |
| `Claude-User` | Anthropic | Déclenché par l'utilisateur | Oui | [bots.json](https://claude.com/crawling/bots.json) |
| `PerplexityBot` | Perplexity | Index de recherche | Oui | [perplexitybot.json](https://www.perplexity.com/perplexitybot.json) |
| `Perplexity-User` | Perplexity | Déclenché par l'utilisateur | « ignore généralement » | [perplexity-user.json](https://www.perplexity.com/perplexity-user.json) |
| `Google-Extended` | Google | Jeton d'autorisation d'entraînement | Oui, en tant que jeton | Pas un outil de récupération |
| `Gemini-Deep-Research` | Google | Agent de recherche déclenché par l'utilisateur | Ignore généralement | [Plages d'IP des outils de récupération Google](https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json) |
| `Applebot-Extended` | Apple | Jeton d'autorisation d'entraînement | Oui, en tant que jeton | Pas un outil de récupération |
| `Amazonbot` | Amazon | Entraînement et amélioration produit | Oui | [Liste d'IP Amazon](https://developer.amazon.com/amazonbot/ip-addresses/) |
| `Bytespider` | ByteDance | Entraînement | Contesté | Aucune publiée |
| `CCBot` | Common Crawl | Archive de masse alimentant de nombreux modèles | Oui | DNS inverse |
| `Meta-ExternalAgent` | Meta | Entraînement et indexation | Oui | Documentation Meta |

Cinq points de ce tableau sont régulièrement mal compris ou purement et simplement ignorés, et ils méritent d'être énoncés explicitement.

**`Google-Extended` et `Applebot-Extended` ne sont pas des crawlers.** Ni l'un ni l'autre ne récupère quoi que ce soit. Ce sont des jetons d'autorisation : Google-Extended détermine si un contenu déjà exploré par Googlebot peut servir à entraîner Gemini et à ancrer ses réponses, et la documentation d'Apple précise explicitement qu'Applebot-Extended « n'explore pas les pages web » et sert « uniquement à déterminer comment utiliser les données explorées par le user-agent Applebot ». Interdire Applebot-Extended ne vous retire pas des résultats de Siri, Spotlight ou Safari.

**Anthropic fait figure d'exception sur les récupérations déclenchées par l'utilisateur.** OpenAI indique, à propos de ChatGPT-User, que « ces actions étant initiées par un utilisateur, les règles robots.txt peuvent ne pas s'appliquer ». Perplexity indique que Perplexity-User « ignore généralement les règles robots.txt ». La documentation de Google précise, au sujet de ses outils de récupération déclenchés par l'utilisateur : « la récupération ayant été demandée par un utilisateur, ces outils ignorent généralement les règles robots.txt ». Amazon indique qu'Amzn-User « peut ne pas suivre l'ensemble des directives robots.txt ». Anthropic, à l'inverse, documente le fait que ses bots respectent robots.txt et désigne Claude-User comme un jeton que les propriétaires de sites peuvent utiliser pour contrôler les requêtes initiées par un utilisateur. Si vous interdisez l'ensemble du lot, Claude sera le seul à s'arrêter réellement — soit exactement l'inverse de ce que visent la plupart des équipes.

**Amazon et Meta exploitent chacun une flotte scindée.** Au-delà d'Amazonbot, Amazon documente `Amzn-SearchBot` (expériences de recherche, dont Alexa et Rufus) et `Amzn-User` (actions utilisateur en direct), dont elle affirme qu'ils n'explorent pas le web pour l'entraînement d'IA générative. Meta exploite `Meta-ExternalAgent` pour l'entraînement et l'indexation, et `Meta-ExternalFetcher` pour les récupérations demandées par un utilisateur, ce dernier pouvant contourner robots.txt.

**Bytespider est un problème de politique, pas un problème de robots.txt.** ByteDance affirme respecter robots.txt ; les exploitants de sites constatent massivement le contraire. Si vous voulez l'arrêter, arrêtez-le au niveau de l'edge et ne comptez pas sur le fichier.

**Une remarque sur `Gemini-Deep-Research` :** la documentation publiée par Google ne fait pas encore figurer ce jeton parmi ses crawlers courants ni parmi ses outils de récupération déclenchés par l'utilisateur, mais il est en usage actif et les grands distributeurs le traitent déjà nommément — le robots.txt de Digi-Key autorise explicitement `Google-Extended` et `Gemini-Deep-Research`, aux côtés de GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User et Claude-SearchBot. Incluez-le : un jeton non reconnu dans robots.txt est sans conséquence.

## Que coûte réellement le blocage de chaque catégorie ?

| Si vous bloquez | Vous perdez | Vous gagnez |
|---|---|---|
| Les crawlers d'entraînement | Votre présence dans les poids des futurs modèles ; le fait d'être la réponse par défaut, sans recherche en ligne | Une position de licence, et marginalement un peu moins de bande passante |
| Les indexeurs de recherche | Vos citations dans les réponses de ChatGPT, Claude et Perplexity | Rien de significatif pour un catalogue public |
| Les outils de récupération déclenchés par l'utilisateur | La possibilité de répondre à la question d'un acheteur en direct | Rien |

Pour un fabricant ou un distributeur dont le catalogue est déjà public et déjà répliqué chez les agrégateurs, bloquer la catégorie « entraînement » est essentiellement symbolique : les données parviennent de toute façon aux modèles, via les fiches des distributeurs et Common Crawl. Ce qui change, c'est la version de vos données que retient le modèle, et à qui elle appartient. Bloquer les deux autres catégories n'apporte strictement aucun bénéfice pour un catalogue public.

## Des robots.txt prêts à copier-coller

### Recette A : visibilité maximale auprès des agents

Le réglage par défaut pertinent pour un fabricant ou un distributeur dont le catalogue est public et dont l'intérêt commercial est d'être trouvé et cité avec exactitude.

```
# --- Answer engines and user-triggered fetchers ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
User-agent: Amzn-SearchBot
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Training crawlers and permission tokens ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Everything else ---
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-products.xml
```

### Recette B : autoriser la récupération, refuser l'entraînement

Pour les organisations qui ont délibérément décidé de ne pas contribuer à l'entraînement des modèles, tout en voulant rester trouvables et citables. Mesurez-en le coût : interdire Google-Extended retire vos contenus de l'ancrage des réponses de Gemini autant que de l'entraînement.

```
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /account/
```

### Recette C : catalogue ouvert, tout le reste fermé

Utile lorsque le catalogue et la bibliothèque documentaire sont les actifs que vous voulez faire remonter, et que le reste du patrimoine web n'est que du bruit.

```
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Disallow: /
Allow: /products/
Allow: /catalog/
Allow: /datasheets/
Allow: /documents/
Allow: /sitemap-products.xml
```

Au sens de la RFC 9309, c'est la règle dont le chemin correspondant est le plus long qui l'emporte : les lignes `Allow` prévalent donc sur le `Disallow: /` global pour ces préfixes. Vérifiez le résultat plutôt que de le présumer — le comportement des analyseurs sur les cas limites reste variable.

## Exprimer un « non » qui porte : Content Signals

robots.txt contrôle l'*accès*. Il ne dit rien de l'*usage* une fois les octets servis. La Content Signals Policy de Cloudflare, lancée le 24 septembre 2025, ajoute au même fichier une préférence d'usage lisible par machine, avec trois signaux : `search` (constituer un index de recherche et fournir des résultats de recherche), `ai-input` (fournir le contenu en entrée à un ou plusieurs modèles d'IA) et `ai-train` (entraîner ou affiner des modèles d'IA).

```
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /account/
```

Cloudflare a appliqué `search=yes, ai-train=no` à plus de 3,8 millions de domaines ayant activé son robots.txt géré, en laissant délibérément `ai-input` non renseigné plutôt que de présumer de l'intention. C'est une préférence déclarée, non un mécanisme d'application — mais c'est une déclaration d'intention claire, datée et lisible par machine, ce qui a de la valeur.

## Pourquoi le silence devient un « non »

Pendant vingt ans, l'absence de règle dans robots.txt signifiait « oui ». Ce comportement par défaut est en train d'être retiré au niveau de la couche d'infrastructure, et des fabricants qui n'ont jamais touché à ce fichier se retrouvent désinscrits par leur CDN.

- **1er juillet 2025** — Cloudflare, qui se trouve en frontal d'environ un cinquième du web, est devenu le premier grand fournisseur d'infrastructure à bloquer les crawlers IA par défaut, en demandant d'emblée à chaque domaine nouvellement intégré s'il souhaite les autoriser.
- **24 septembre 2025** — la Content Signals Policy est publiée, avec `ai-train=no` appliqué par défaut à 3,8 millions de domaines gérés.
- **1er juillet 2026** — Cloudflare a annoncé qu'à compter du **15 septembre 2026**, sur les nouveaux domaines, les nouveaux sites de clients existants et l'ensemble des clients existants de l'offre gratuite, les catégories de crawlers Training et Agent seront bloquées par défaut sur les pages affichant de la publicité. La catégorie Search reste autorisée. Les crawlers polyvalents qui mêlent Search et Training héritent de la règle la plus restrictive.

Lisez ce dernier point avec précision, car il est très souvent mal cité. Il ne vise que les pages monétisées par la publicité, ce que la plupart des catalogues de fabricants ne sont pas. Le changement qui vous concerne déjà est celui de 2025 : si votre site a été intégré récemment à un CDN moderne, ou s'il repose sur une offre gratuite, vous refusez peut-être déjà les crawlers IA sans que personne ne l'ait décidé. Vérifiez avant de présumer.

## robots.txt est une demande. Votre WAF est ce qui l'applique.

C'est là que la plupart des configurations bien intentionnées échouent. robots.txt est un protocole volontaire, lu par les clients qui acceptent de s'y conformer. Votre gestionnaire de bots, lui, est un verrou strict qui classe le trafic sur l'**IP source vérifiée**, et les jeux de règles par défaut soumettent à un challenge ou bloquent systématiquement tout ce qui ne ressemble pas à un navigateur. Un crawler qui lit `Allow: /` puis reçoit un challenge JavaScript a bel et bien été bloqué, quoi qu'en dise le fichier.

Tous les grands opérateurs publient leurs plages d'adresses pour que vous puissiez les inscrire correctement en liste d'autorisation :

| Opérateur | Plages publiées |
|---|---|
| OpenAI | [gptbot.json](https://openai.com/gptbot.json), [searchbot.json](https://openai.com/searchbot.json), [chatgpt-user.json](https://openai.com/chatgpt-user.json) |
| Anthropic | [claude.com/crawling/bots.json](https://claude.com/crawling/bots.json) |
| Perplexity | [perplexitybot.json](https://www.perplexity.com/perplexitybot.json), [perplexity-user.json](https://www.perplexity.com/perplexity-user.json) |
| Google | [googlebot.json](https://developers.google.com/static/search/apis/ipranges/googlebot.json), [special-crawlers.json](https://developers.google.com/static/search/apis/ipranges/special-crawlers.json), [user-triggered-fetchers-google.json](https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json) |
| Amazon | [developer.amazon.com/amazonbot](https://developer.amazon.com/amazonbot) |

Pour vérifier qu'une adresse précise relevée dans vos logs appartient réellement à OpenAI :

```
python3 - <<'EOF'
import ipaddress, json, urllib.request
probe = ipaddress.ip_address("132.196.86.5")
data = json.load(urllib.request.urlopen("https://openai.com/gptbot.json"))
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix"))
        for p in data["prefixes"]]
print(any(probe in n for n in nets if n.version == probe.version))
EOF
```

Trois règles au niveau de l'edge couvrent l'essentiel :

1. **Inscrivez les plages vérifiées en liste d'autorisation avant le déclenchement de votre règle de score de bot**, en la limitant aux seuls chemins du catalogue public et des documents.
2. **Exemptez ces chemins des challenges JavaScript et des limitations de débit.** Un client qui n'est pas un navigateur ne peut pas résoudre un challenge, et un crawler qui indexe 40 000 SKU déclenchera une limite de débit calibrée pour des humains.
3. **N'établissez pas votre liste d'autorisation sur la chaîne user-agent.** C'est un en-tête en texte libre. Filtrez sur l'IP, puis, éventuellement, sur le user-agent.

N'oubliez pas que chaque origine se configure séparément. Votre site produit, votre sous-domaine de documentation et le nom d'hôte de votre CDN ont chacun besoin de leur propre robots.txt et de leur propre politique WAF.

## Comment vérifier dans mes logs que cela a fonctionné ?

Une configuration que vous n'avez pas vérifiée dans les logs n'est qu'une hypothèse. Laissez passer quelques jours avant de juger du résultat : les opérateurs mettent robots.txt en cache, la documentation de Meta prévient que les modifications peuvent mettre jusqu'à 24 heures à prendre effet, et Amazon indique que ses crawlers peuvent utiliser une copie mise en cache au cours des 30 derniers jours. Ensuite :

```
grep -aiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Gemini-Deep-Research|Applebot|Amazonbot|Bytespider|CCBot|Meta-External" access.log | wc -l
```

Ventilez ensuite par agent et par code de statut — c'est ce chiffre-là qui compte :

```
awk '/GPTBot/ {print $9}' access.log | sort | uniq -c | sort -rn
```

Ce que vous cherchez :

1. **Un volume non nul pour chaque agent.** Zéro requête d'un agent IA quelconque sur 72 heures pour un catalogue public signifie que vous êtes bloqué en amont, et pas seulement peu populaire.
2. **Une distribution de statuts dominée par les 2xx.** Un mur de 403 signifie que le WAF prend le pas sur robots.txt. Un mur de 404 signifie que votre sitemap ou vos liens internes pointent vers des URL qui n'existent plus.
3. **La présence des chemins documentaires, et pas seulement des chemins produits.** Si `/datasheets/` n'apparaît jamais, votre bibliothèque technique est invisible.
4. **Des tailles de réponse cohérentes.** Des 200 répétés de 4 à 15 Ko sur des URL produit signifient en général que les crawlers reçoivent une coquille vide rendue côté client — techniquement autorisée, pratiquement inutile.
5. **La simple présence des agents déclenchés par l'utilisateur.** Le trafic ChatGPT-User, Claude-User et Perplexity-User est ce que vous avez de plus proche d'un signal en temps réel de l'intérêt acheteur. Il mérite un suivi à part.

## Erreurs fréquentes

- Bloquer par accident les outils de récupération déclenchés par l'utilisateur, dans une règle globale visant les crawlers d'entraînement.
- Configurer correctement robots.txt et laisser le WAF en l'état. Ce sont deux interrupteurs distincts, et les deux doivent être positionnés.
- Oublier le sous-domaine de documentation, le DAM et le CDN, qui constituent chacun une origine distincte au sens de la RFC 9309.
- Interdire aux crawlers l'accès aux ressources CSS et JavaScript. Cela n'a aucune importance pour les crawlers en mode texte seul, mais Googlebot et Applebot effectuent tous deux un rendu, et les priver de ces ressources dégrade ce qu'ils voient.
- Supposer qu'un agrégateur relaie fidèlement vos données. Il relaie ce qu'il a scrapé, à la date où il l'a scrapé.
- Considérer `llms.txt` comme un substitut. Aucun opérateur majeur ne s'est engagé à le lire, et les logs montrent généralement qu'il n'est jamais demandé.

Partsgraph a audité 984 domaines de distributeurs et de fabricants dans le monde, en Amérique du Nord, en Europe et en Asie, en août 2026. Seuls 19 % publiaient une politique explicite à l'égard des crawlers IA, quelle qu'elle soit — et parmi ceux-là, plus de deux fois plus bloquaient un crawler IA majeur qu'ils n'en invitaient un. Aucun n'annonçait de point de terminaison MCP. Score de visibilité IA médian : 50 sur 100. L'écart n'est pas encore concurrentiel — et c'est précisément pour cela qu'un robots.txt bien formé reste l'une des heures de travail les plus rentables dont dispose une équipe données produit.

*Vérifiez ce que les crawlers IA peuvent réellement atteindre sur votre domaine avec l'outil d'évaluation gratuit de Partsgraph sur [/audit](/audit).*

## Questions fréquentes

### Quelle est la différence entre GPTBot et ChatGPT-User ?

GPTBot est un crawler de masse qui collecte des données d'entraînement pour les modèles de fondation d'OpenAI, et il obéit à robots.txt. ChatGPT-User, lui, récupère une page unique parce que quelqu'un a posé à ChatGPT une question qui l'exige. La documentation d'OpenAI précise que, ces actions étant initiées par un utilisateur, les règles robots.txt peuvent ne pas s'appliquer. Bloquer GPTBot relève d'une décision de licence ; bloquer ChatGPT-User revient à refuser de répondre à la question d'un client en direct.

### Google-Extended est-il un crawler ?

Non. Google-Extended est un jeton de contrôle robots.txt, pas un outil de récupération. Les octets continuent d'arriver via Googlebot. Interdire Google-Extended indique à Google de ne pas utiliser le contenu pour entraîner les modèles Gemini ni pour ancrer ses réponses, tout en laissant intacte l'indexation classique dans Search. Applebot-Extended fonctionne de la même manière chez Apple.

### Bloquer les crawlers d'entraînement IA tiendra-t-il mon catalogue à l'écart des modèles ?

Globalement non, et cela vous coûtera de la visibilité. Les données de composants sont répliquées chez les distributeurs, chez les agrégateurs et dans Common Crawl : le contenu parvient donc généralement aux modèles de toute façon, mais sous la forme de la copie obsolète d'un tiers plutôt que de votre version actuelle et faisant autorité. Vous perdez la possibilité d'être la source citée sans gagner le moindre contrôle réel.

### Le robots.txt de mon domaine principal couvre-t-il mon sous-domaine de documentation ?

Non. Au sens de la RFC 9309, robots.txt est limité à une seule origine : schéma, hôte et port. Le nom d'hôte de votre CDN, votre DAM et votre sous-domaine de documentation ont chacun besoin de leur propre fichier. C'est de loin la raison la plus fréquente pour laquelle un site qui paraît ouvert dans robots.txt ne sert malgré tout rien à un crawler.

### Pourquoi mes crawlers sont-ils toujours bloqués alors que mon robots.txt indique Allow ?

Parce que robots.txt est une demande et que c'est votre WAF qui l'applique. Les gestionnaires de bots classent le trafic sur l'IP source vérifiée, et non sur la chaîne user-agent, et de nombreuses règles par défaut soumettent à un challenge tout ce qui n'est pas un navigateur. Vous devez inscrire les plages de crawlers vérifiées en liste d'autorisation au niveau de l'edge, en plus de les autoriser dans robots.txt.

### Faut-il plutôt utiliser llms.txt ?

Pas à la place. En 2026, aucun opérateur d'IA majeur ne s'est engagé à lire llms.txt, et l'équipe Search Relations de Google a refusé de l'approuver. Les logs serveur montrent en général que les crawlers IA ne demandent jamais ce fichier. Publiez-le si vous le souhaitez, mais ce sont robots.txt, de vraies pages liées entre elles et l'autorisation des bots vérifiés qui changent réellement le comportement observé.

### Comment confirmer qu'une requête provient réellement de GPTBot et non d'un usurpateur ?

Comparez l'IP source à la liste de préfixes publiée par OpenAI sur openai.com/gptbot.json. Chaque grand opérateur publie un fichier JSON équivalent, et Google prend en charge la vérification par DNS inverse. Ne vous fiez jamais à la seule chaîne user-agent : elle se falsifie trivialement, et une part importante du trafic se réclamant d'un crawler IA n'en est pas un.

## Sources

1. [OpenAI, Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
2. [Anthropic, Does Anthropic crawl data from the web?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
3. [Perplexity, PerplexityBot and Perplexity-User documentation](https://docs.perplexity.ai/guides/bots)
4. [Google Search Central, Google crawlers and user agents](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
5. [Google Search Central, user-triggered fetchers](https://developers.google.com/search/docs/crawling-indexing/google-user-triggered-fetchers)
6. [Apple Support, About Applebot](https://support.apple.com/en-us/119829)
7. [Amazon, About Amazonbot](https://developer.amazon.com/amazonbot)
8. [Meta for Developers, Meta web crawlers](https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers)
9. [Cloudflare, Content Independence Day: new AI traffic options, July 2026](https://blog.cloudflare.com/content-independence-day-ai-options/)
10. [Cloudflare, Content Signals Policy, September 2025](https://blog.cloudflare.com/content-signals-policy/)
11. [Cloudflare press release, blocking AI crawlers by default, July 2025](https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/)
12. [RFC 9309, Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)
13. [Forrester, The State Of Business Buying, 2026 (January 2026)](https://www.forrester.com/blogs/state-of-business-buying-2026/)

## Other languages

- English: https://partsgraph.ai/blog/robots-txt-for-ai-crawlers-guide/md
- Deutsch: https://partsgraph.ai/de/blog/robots-txt-for-ai-crawlers-guide/md
- Español: https://partsgraph.ai/es/blog/robots-txt-for-ai-crawlers-guide/md
- Italiano: https://partsgraph.ai/it/blog/robots-txt-for-ai-crawlers-guide/md
- Nederlands: https://partsgraph.ai/nl/blog/robots-txt-for-ai-crawlers-guide/md
- Polski: https://partsgraph.ai/pl/blog/robots-txt-for-ai-crawlers-guide/md
- Português: https://partsgraph.ai/pt/blog/robots-txt-for-ai-crawlers-guide/md
- Svenska: https://partsgraph.ai/sv/blog/robots-txt-for-ai-crawlers-guide/md
- Türkçe: https://partsgraph.ai/tr/blog/robots-txt-for-ai-crawlers-guide/md
- 日本語: https://partsgraph.ai/ja/blog/robots-txt-for-ai-crawlers-guide/md
- 한국어: https://partsgraph.ai/ko/blog/robots-txt-for-ai-crawlers-guide/md
- 简体中文: https://partsgraph.ai/zh/blog/robots-txt-for-ai-crawlers-guide/md

---

Partsgraph — the agent-ready parts data layer. Free AI-visibility grader: https://partsgraph.ai/fr/audit