# robots.txt per i crawler IA: la guida 2026

> Tutti gli user-agent IA che contano nel 2026, chi li gestisce, quali rispettano robots.txt, config pronte da copiare, allowlist WAF e verifica dai log.

**Language:** it  
**Published:** 2026-08-09  
**Category:** Solution · **Tags:** robots.txt, AI crawlers, GPTBot, ClaudeBot, bot management, WAF, Content Signals  
**Canonical:** https://partsgraph.ai/it/blog/robots-txt-for-ai-crawlers-guide

## In breve

**Come devo configurare robots.txt per i crawler IA nel 2026?**

Considera i client IA come tre categorie distinte, non una sola: i crawler di addestramento (GPTBot, ClaudeBot, CCBot, Google-Extended), gli indicizzatori di ricerca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) e i fetcher attivati dall'utente (ChatGPT-User, Perplexity-User, Gemini-Deep-Research). I primi due raccolgono contenuti per l'addestramento dei modelli e per gli indici di retrieval che gli answer engine citano, ed entrambi rispettano robots.txt. Il terzo entra in azione quando una persona reale pone una domanda reale, e la maggior parte degli operatori documenta che robots.txt potrebbe non applicarsi. Bloccare la categoria di addestramento è una decisione di licensing; bloccare i fetcher attivati dall'utente significa rifiutarsi di rispondere a un cliente in tempo reale.

---

## La risposta breve

Smetti di considerare i «bot IA» come un'unica cosa. Esistono tre categorie con economie completamente diverse, e una sola riga `Disallow` applicata a tutte è quasi sempre il compromesso sbagliato.

> **Figure.** The three classes of AI user-agent — training crawlers, search indexers and user-triggered fetchers — and why one blanket rule is the wrong trade.

> Un crawler di addestramento chiede di imparare dal tuo catalogo. Un indicizzatore di ricerca chiede di poterlo citare. Un fetcher attivato dall'utente è un cliente che, proprio in questo momento, sta ponendo una domanda sul tuo prodotto. Bloccare il primo è una decisione di licensing. Bloccare il terzo equivale a mettere giù il telefono.

Forrester ha rilevato che **il 94% dei buyer aziendali ha usato l'IA nel proprio più recente processo d'acquisto**. Una quota significativa delle richieste che arrivano al tuo server di origine con uno user-agent IA non è scraping: è qualcuno che ha davanti una distinta base aperta, nel mezzo di una decisione. Il tuo robots.txt dovrebbe distinguere gli uni dagli altri, e nella maggior parte dei casi non lo fa.

## Tutti gli user-agent IA che contano nel 2026

| Token | Operatore | Categoria | Rispetta robots.txt | Verifica dell'IP di origine |
|---|---|---|---|---|
| `GPTBot` | OpenAI | Addestramento | Sì | [gptbot.json](https://openai.com/gptbot.json) |
| `OAI-SearchBot` | OpenAI | Indice di ricerca | Sì | [searchbot.json](https://openai.com/searchbot.json) |
| `ChatGPT-User` | OpenAI | Attivato dall'utente | «potrebbe non applicarsi» | [chatgpt-user.json](https://openai.com/chatgpt-user.json) |
| `ClaudeBot` | Anthropic | Addestramento | Sì | [bots.json](https://claude.com/crawling/bots.json) |
| `Claude-SearchBot` | Anthropic | Indice di ricerca | Sì | [bots.json](https://claude.com/crawling/bots.json) |
| `Claude-User` | Anthropic | Attivato dall'utente | Sì | [bots.json](https://claude.com/crawling/bots.json) |
| `PerplexityBot` | Perplexity | Indice di ricerca | Sì | [perplexitybot.json](https://www.perplexity.com/perplexitybot.json) |
| `Perplexity-User` | Perplexity | Attivato dall'utente | «generalmente le ignora» | [perplexity-user.json](https://www.perplexity.com/perplexity-user.json) |
| `Google-Extended` | Google | Token di permesso per l'addestramento | Sì, come token | Non è un fetcher |
| `Gemini-Deep-Research` | Google | Agente di ricerca attivato dall'utente | Generalmente le ignora | [Intervalli dei fetcher Google](https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json) |
| `Applebot-Extended` | Apple | Token di permesso per l'addestramento | Sì, come token | Non è un fetcher |
| `Amazonbot` | Amazon | Addestramento e miglioramento dei prodotti | Sì | [Elenco IP di Amazon](https://developer.amazon.com/amazonbot/ip-addresses/) |
| `Bytespider` | ByteDance | Addestramento | Contestato | Nessuno pubblicato |
| `CCBot` | Common Crawl | Archivio massivo che alimenta molti modelli | Sì | Reverse DNS |
| `Meta-ExternalAgent` | Meta | Addestramento e indicizzazione | Sì | Documentazione di Meta |

Cinque punti di quella tabella vengono regolarmente fraintesi o ignorati, e vale la pena esplicitarli.

**`Google-Extended` e `Applebot-Extended` non sono crawler.** Nessuno dei due preleva alcunché. Sono token di permesso: Google-Extended controlla se i contenuti già scansionati da Googlebot possano essere usati per addestrare Gemini e per fare grounding delle sue risposte, mentre la documentazione di Apple è esplicita nell'affermare che Applebot-Extended «non scansiona le pagine web» ed è «usato solo per determinare come utilizzare i dati raccolti dallo user agent Applebot». Vietare Applebot-Extended non ti rimuove dai risultati di Siri, Spotlight o Safari.

**Anthropic è l'eccezione sui prelievi attivati dall'utente.** OpenAI afferma che, per ChatGPT-User, «poiché queste azioni sono avviate da un utente, le regole di robots.txt potrebbero non applicarsi». Perplexity dichiara che Perplexity-User «generalmente ignora le regole di robots.txt». La documentazione di Google dice dei propri fetcher attivati dall'utente: «poiché il prelievo è stato richiesto da un utente, questi fetcher generalmente ignorano le regole di robots.txt». Amazon afferma che Amzn-User «potrebbe non seguire tutte le direttive di robots.txt». Anthropic, al contrario, documenta che i suoi bot rispettano robots.txt e indica Claude-User come il token che i proprietari dei siti possono usare per controllare le richieste avviate dagli utenti. Se vieti l'intero insieme, Claude è l'unico che si fermerà davvero, ossia l'esatto contrario di ciò che la maggior parte delle persone intende ottenere.

**Amazon e Meta gestiscono ciascuna una flotta divisa.** Oltre ad Amazonbot, Amazon documenta `Amzn-SearchBot` (esperienze di ricerca, tra cui Alexa e Rufus) e `Amzn-User` (azioni degli utenti in tempo reale), che secondo l'azienda non effettuano scansioni per l'addestramento di IA generativa. Meta impiega `Meta-ExternalAgent` per addestramento e indicizzazione e `Meta-ExternalFetcher` per i prelievi richiesti dagli utenti, e quest'ultimo può aggirare robots.txt.

**Bytespider è un problema di policy, non di robots.txt.** ByteDance dichiara di rispettare robots.txt; i gestori dei siti riferiscono ampiamente il contrario. Se vuoi fermarlo, fermalo a livello edge e non affidarti al file.

**Una nota su `Gemini-Deep-Research`:** la documentazione ufficiale di Google sui crawler non elenca ancora questo token tra i crawler comuni o i fetcher attivati dall'utente, ma è in uso attivo e i principali distributori lo indicano già per nome: il robots.txt di Digi-Key consente esplicitamente sia `Google-Extended` sia `Gemini-Deep-Research`, insieme a GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User e Claude-SearchBot. Includilo: un token non riconosciuto in robots.txt è innocuo.

## Quanto costa davvero bloccare ciascuna categoria?

| Se blocchi | Cosa perdi | Cosa guadagni |
|---|---|---|
| I crawler di addestramento | La presenza nei pesi dei modelli futuri; l'essere la risposta predefinita quando il modello risponde senza recupero online | Una posizione di licensing e, marginalmente, meno banda consumata |
| Gli indicizzatori di ricerca | La citazione nelle risposte di ChatGPT, Claude e Perplexity | Nulla di significativo per un catalogo pubblico |
| I fetcher attivati dall'utente | La possibilità di rispondere alla domanda di un buyer in tempo reale | Nulla |

Per un produttore o un distributore il cui catalogo è già pubblico e già replicato sugli aggregatori, bloccare la categoria di addestramento è per lo più simbolico: i dati raggiungono comunque i modelli, attraverso le schede dei distributori e Common Crawl. Ciò che cambia è di chi sia la versione dei tuoi dati che il modello conserva. Bloccare le altre due categorie non porta alcun vantaggio a un catalogo pubblico.

## robots.txt pronti da copiare e incollare

### Ricetta A: massima visibilità presso gli agenti

L'impostazione predefinita corretta per un produttore o un distributore con catalogo pubblico, il cui interesse commerciale è farsi trovare e citare in modo accurato.

```
# --- Answer engines and user-triggered fetchers ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
User-agent: Amzn-SearchBot
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Training crawlers and permission tokens ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Everything else ---
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-products.xml
```

### Ricetta B: consentire il recupero, rifiutare l'addestramento

Per le organizzazioni che hanno deciso deliberatamente di non contribuire all'addestramento dei modelli, ma vogliono comunque essere trovate e citate. Attenzione a quanto costa: vietare Google-Extended esclude i tuoi contenuti dal grounding di Gemini, oltre che dall'addestramento.

```
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /account/
```

### Ricetta C: catalogo aperto, tutto il resto chiuso

Utile quando il catalogo e la libreria documentale sono le risorse che vuoi far emergere e il resto del patrimonio digitale è rumore.

```
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Disallow: /
Allow: /products/
Allow: /catalog/
Allow: /datasheets/
Allow: /documents/
Allow: /sitemap-products.xml
```

In base alla RFC 9309 prevale la regola con il percorso corrispondente più lungo, quindi le righe `Allow` hanno la meglio sul `Disallow: /` generalizzato per quei prefissi. Verifica il risultato invece di darlo per scontato: il comportamento dei parser nei casi limite varia ancora.

## Esprimere un «no» che abbia effetto: Content Signals

robots.txt controlla l'*accesso*. Non dice nulla sull'*uso* una volta che i byte sono stati serviti. La Content Signals Policy di Cloudflare, lanciata il 24 settembre 2025, aggiunge allo stesso file una preferenza d'uso leggibile dalle macchine, con tre segnali: `search` (costruire un indice di ricerca e fornire risultati di ricerca), `ai-input` (dare i contenuti in input a uno o più modelli di IA) e `ai-train` (addestrare o mettere a punto modelli di IA).

```
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /account/
```

Cloudflare ha applicato `search=yes, ai-train=no` a oltre 3,8 milioni di domini che avevano attivato il suo robots.txt gestito, lasciando deliberatamente `ai-input` non impostato anziché tirare a indovinare. È una preferenza dichiarata, non un meccanismo di applicazione, ma è una dichiarazione d'intenti chiara, datata e leggibile dalle macchine: vale la pena averla.

## Perché il silenzio sta diventando un «no»

Per vent'anni, l'assenza di una regola in robots.txt ha significato «sì». Questo comportamento predefinito viene ora ritirato a livello infrastrutturale, e i produttori che non hanno mai messo mano al file si ritrovano esclusi d'ufficio dalla propria CDN.

- **1 luglio 2025** — Cloudflare, che si trova davanti a circa un quinto del web, è diventata il primo grande fornitore di infrastruttura a bloccare i crawler IA per impostazione predefinita, chiedendo fin da subito a ogni nuovo dominio onboardato se consentirli.
- **24 settembre 2025** — arriva la Content Signals Policy, con `ai-train=no` applicato per impostazione predefinita a 3,8 milioni di domini gestiti.
- **1 luglio 2026** — Cloudflare ha annunciato che dal **15 settembre 2026**, sui nuovi domini, sui nuovi siti dei clienti esistenti e su tutti i clienti già attivi sul piano gratuito, le categorie di crawler Training e Agent saranno bloccate per impostazione predefinita sulle pagine che mostrano annunci pubblicitari. La categoria Search resta consentita. I crawler multiuso che mescolano Search e Training ereditano la regola più restrittiva.

Leggi con precisione quest'ultimo punto, perché viene spesso citato in modo errato. Si applica alle pagine monetizzate con la pubblicità, che la maggior parte dei cataloghi dei produttori non sono. Il cambiamento che ti riguarda già è quello del 2025: se il tuo sito è stato attivato di recente su una CDN moderna, o si trova su un piano gratuito, potresti già rifiutare i crawler IA senza che nessuno lo abbia deciso. Verifica prima di darlo per scontato.

## robots.txt è una richiesta. Il tuo WAF è ciò che la applica.

È qui che fallisce la maggior parte delle configurazioni ben intenzionate. robots.txt è un protocollo volontario, letto dai client che scelgono di rispettarlo. Il tuo bot manager, invece, è un varco rigido che classifica in base all'**IP di origine verificato**, e i set di regole predefiniti sottopongono sistematicamente a challenge o bloccano tutto ciò che non sembra un browser. Un crawler che legge `Allow: /` e poi riceve un challenge JavaScript è stato bloccato, qualunque cosa dica il file.

Tutti i principali operatori pubblicano i propri intervalli di IP, così puoi inserirli correttamente in allowlist:

| Operatore | Intervalli pubblicati |
|---|---|
| OpenAI | [gptbot.json](https://openai.com/gptbot.json), [searchbot.json](https://openai.com/searchbot.json), [chatgpt-user.json](https://openai.com/chatgpt-user.json) |
| Anthropic | [claude.com/crawling/bots.json](https://claude.com/crawling/bots.json) |
| Perplexity | [perplexitybot.json](https://www.perplexity.com/perplexitybot.json), [perplexity-user.json](https://www.perplexity.com/perplexity-user.json) |
| Google | [googlebot.json](https://developers.google.com/static/search/apis/ipranges/googlebot.json), [special-crawlers.json](https://developers.google.com/static/search/apis/ipranges/special-crawlers.json), [user-triggered-fetchers-google.json](https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json) |
| Amazon | [developer.amazon.com/amazonbot](https://developer.amazon.com/amazonbot) |

Per verificare se un indirizzo specifico presente nei tuoi log appartiene davvero a OpenAI:

```
python3 - <<'EOF'
import ipaddress, json, urllib.request
probe = ipaddress.ip_address("132.196.86.5")
data = json.load(urllib.request.urlopen("https://openai.com/gptbot.json"))
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix"))
        for p in data["prefixes"]]
print(any(probe in n for n in nets if n.version == probe.version))
EOF
```

Tre regole a livello edge coprono quasi tutto:

1. **Inserisci in allowlist gli intervalli verificati prima che scatti la regola sul bot score**, limitandola ai soli percorsi pubblici di catalogo e documenti.
2. **Esenta quei percorsi dai challenge JavaScript e dai rate limit.** Un client che non è un browser non può risolvere un challenge, e un crawler che indicizza 40.000 SKU farà scattare un rate limit tarato sugli esseri umani.
3. **Non costruire l'allowlist sulla stringa user-agent.** È un header di testo libero. Fai il match sull'IP e, facoltativamente, poi sullo user-agent.

Ricorda che ogni origine si configura separatamente. Il sito di prodotto, il sottodominio della documentazione e l'hostname della CDN necessitano ciascuno di un proprio robots.txt e di una propria policy WAF.

## Come verifico dai log che abbia funzionato?

Una configurazione che non hai verificato nei log è solo un'ipotesi. Concediti qualche giorno prima di giudicare il risultato: gli operatori mettono robots.txt in cache, e la documentazione di Meta avverte che le modifiche possono richiedere fino a 24 ore per avere effetto, mentre Amazon dichiara che i suoi crawler possono usare una copia memorizzata nei 30 giorni precedenti. Poi:

```
grep -aiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Gemini-Deep-Research|Applebot|Amazonbot|Bytespider|CCBot|Meta-External" access.log | wc -l
```

Poi scomponi il dato per agente e codice di stato: è questo il numero che conta.

```
awk '/GPTBot/ {print $9}' access.log | sort | uniq -c | sort -rn
```

Che cosa devi cercare:

1. **Un volume diverso da zero per ciascun agente.** Zero richieste da qualsiasi agente IA nell'arco di 72 ore su un catalogo pubblico significa che sei bloccato a monte, non semplicemente poco popolare.
2. **Una distribuzione dei codici di stato dominata dai 2xx.** Un muro di 403 significa che il WAF sta scavalcando robots.txt. Un muro di 404 significa che la tua sitemap o i link interni puntano a URL che non esistono più.
3. **La comparsa dei percorsi documentali, non solo di quelli di prodotto.** Se `/datasheets/` non compare mai, la tua libreria tecnica è invisibile.
4. **Dimensioni delle risposte che abbiano senso.** Ripetuti 200 da 4–15 KB su URL di prodotto di solito significano che i crawler ricevono un guscio vuoto renderizzato lato client: tecnicamente consentito, praticamente inutile.
5. **La presenza stessa degli agenti attivati dall'utente.** Il traffico di ChatGPT-User, Claude-User e Perplexity-User è la cosa più vicina a un segnale in tempo reale dell'interesse dei buyer di cui tu possa disporre. Vale la pena rendicontarlo separatamente.

## Errori frequenti

- Bloccare per errore i fetcher attivati dall'utente con una regola generalizzata pensata per i crawler di addestramento.
- Impostare correttamente robots.txt e lasciare il WAF intatto. Sono due interruttori e vanno azionati entrambi.
- Dimenticare il sottodominio della documentazione, il DAM e la CDN, ciascuno dei quali è un'origine distinta secondo la RFC 9309.
- Impedire ai crawler l'accesso alle risorse CSS e JavaScript. Per i crawler che leggono solo testo è irrilevante, ma Googlebot e Applebot eseguono entrambi il rendering, e privarli di quelle risorse peggiora ciò che vedono.
- Dare per scontato che un aggregatore riporti i tuoi dati in modo accurato. Riporta ciò che ha raccolto, nel momento in cui l'ha raccolto.
- Trattare `llms.txt` come un sostituto. Nessun grande operatore si è impegnato a leggerlo, e i log mostrano in genere che non viene mai richiesto.

Nell'agosto 2026 Partsgraph ha analizzato 984 domini di distributori e produttori in tutto il mondo, tra Nord America, Europa e Asia. Solo il 19% pubblicava una policy esplicita sui crawler IA di qualunque tipo, e fra questi i domini che bloccavano un grande crawler IA erano più del doppio di quelli che lo invitavano. Nessuno segnalava un endpoint MCP. Punteggio mediano di visibilità IA: 50 su 100. Il divario non è ancora competitivo, ed è esattamente per questo che un robots.txt ben formato resta una delle ore di lavoro a più alto rendimento a disposizione di un team che si occupa di dati di prodotto.

*Scopri a che cosa possono davvero accedere i crawler IA sul tuo dominio con il grader gratuito di Partsgraph su [/audit](/audit).*

## Domande frequenti

### Qual è la differenza tra GPTBot e ChatGPT-User?

GPTBot è un crawler massivo che raccoglie dati di addestramento per i modelli di base di OpenAI e rispetta robots.txt. ChatGPT-User preleva una singola pagina perché qualcuno ha posto a ChatGPT una domanda che la richiede. La documentazione di OpenAI afferma che, poiché queste azioni sono avviate da un utente, le regole di robots.txt potrebbero non applicarsi. Bloccare GPTBot è una decisione di licensing; bloccare ChatGPT-User significa rinunciare a rispondere alla domanda di un cliente in tempo reale.

### Google-Extended è un crawler?

No. Google-Extended è un token di controllo per robots.txt, non un fetcher. I byte continuano ad arrivare tramite Googlebot. Vietare Google-Extended dice a Google di non usare i contenuti per addestrare i modelli Gemini né per il grounding, lasciando intatta la normale indicizzazione nella Ricerca. Applebot-Extended funziona allo stesso modo per Apple.

### Bloccare i crawler di addestramento IA terrà il mio catalogo fuori dai modelli di IA?

In gran parte no, e ti costerà visibilità. I dati dei componenti sono replicati su distributori, aggregatori e Common Crawl, quindi i contenuti raggiungono comunque i modelli, ma come copia obsoleta di terze parti anziché come la tua versione attuale e autorevole. Perdi la possibilità di essere la fonte citata senza ottenere in cambio alcun controllo reale.

### Il robots.txt del mio dominio principale copre anche il sottodominio della documentazione?

No. In base alla RFC 9309, robots.txt ha come ambito una sola origine: schema, host e porta. L'hostname della CDN, il DAM e il sottodominio della documentazione necessitano ciascuno di un proprio file. È la ragione più frequente per cui un sito che in robots.txt sembra aperto continua a non servire nulla a un crawler.

### Perché il mio robots.txt dice Allow ma i crawler vengono comunque bloccati?

Perché robots.txt è una richiesta, mentre il tuo WAF è ciò che la applica. I bot manager classificano in base all'IP di origine verificato, non alla stringa user-agent, e molte regole predefinite sottopongono a challenge qualunque client che non sia un browser. Devi inserire in allowlist gli intervalli di IP verificati dei crawler a livello edge, oltre a consentirli in robots.txt.

### Dovrei usare llms.txt al suo posto?

Non al suo posto. Al 2026 nessun grande operatore IA si è impegnato a leggere llms.txt, e il team Search Relations di Google ha rifiutato di avallarlo. I log dei server mostrano in genere che i crawler IA non richiedono mai il file. Pubblicalo pure, ma ciò che cambia davvero i comportamenti sono robots.txt, pagine reali e collegate tra loro e l'allowlist dei bot verificati.

### Come faccio a confermare che una richiesta provenga davvero da GPTBot e non da un impostore?

Confronta l'IP di origine con l'elenco di prefissi pubblicato da OpenAI all'indirizzo openai.com/gptbot.json. Ogni grande operatore pubblica un file JSON equivalente e Google supporta la verifica tramite reverse DNS. Non fidarti mai della sola stringa user-agent: è banale falsificarla, e una quota consistente del traffico che dichiara di essere un crawler IA non lo è.

## Fonti

1. [OpenAI, Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
2. [Anthropic, Does Anthropic crawl data from the web?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
3. [Perplexity, PerplexityBot and Perplexity-User documentation](https://docs.perplexity.ai/guides/bots)
4. [Google Search Central, Google crawlers and user agents](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
5. [Google Search Central, user-triggered fetchers](https://developers.google.com/search/docs/crawling-indexing/google-user-triggered-fetchers)
6. [Apple Support, About Applebot](https://support.apple.com/en-us/119829)
7. [Amazon, About Amazonbot](https://developer.amazon.com/amazonbot)
8. [Meta for Developers, Meta web crawlers](https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers)
9. [Cloudflare, Content Independence Day: new AI traffic options, July 2026](https://blog.cloudflare.com/content-independence-day-ai-options/)
10. [Cloudflare, Content Signals Policy, September 2025](https://blog.cloudflare.com/content-signals-policy/)
11. [Cloudflare press release, blocking AI crawlers by default, July 2025](https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/)
12. [RFC 9309, Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)
13. [Forrester, The State Of Business Buying, 2026 (January 2026)](https://www.forrester.com/blogs/state-of-business-buying-2026/)

## Other languages

- English: https://partsgraph.ai/blog/robots-txt-for-ai-crawlers-guide/md
- Deutsch: https://partsgraph.ai/de/blog/robots-txt-for-ai-crawlers-guide/md
- Français: https://partsgraph.ai/fr/blog/robots-txt-for-ai-crawlers-guide/md
- Español: https://partsgraph.ai/es/blog/robots-txt-for-ai-crawlers-guide/md
- Nederlands: https://partsgraph.ai/nl/blog/robots-txt-for-ai-crawlers-guide/md
- Polski: https://partsgraph.ai/pl/blog/robots-txt-for-ai-crawlers-guide/md
- Português: https://partsgraph.ai/pt/blog/robots-txt-for-ai-crawlers-guide/md
- Svenska: https://partsgraph.ai/sv/blog/robots-txt-for-ai-crawlers-guide/md
- Türkçe: https://partsgraph.ai/tr/blog/robots-txt-for-ai-crawlers-guide/md
- 日本語: https://partsgraph.ai/ja/blog/robots-txt-for-ai-crawlers-guide/md
- 한국어: https://partsgraph.ai/ko/blog/robots-txt-for-ai-crawlers-guide/md
- 简体中文: https://partsgraph.ai/zh/blog/robots-txt-for-ai-crawlers-guide/md

---

Partsgraph — the agent-ready parts data layer. Free AI-visibility grader: https://partsgraph.ai/it/audit