robots.txt für KI-Crawler: Der Leitfaden für 2026

Die kurze Antwort

Hören Sie auf, „KI-Bots“ als eine einzige Sache zu betrachten. Es gibt drei Klassen mit völlig unterschiedlicher Ökonomie, und eine einzige Disallow-Zeile, die für alle gilt, ist fast immer der falsche Handel.

Ein Trainings-Crawler bittet darum, aus Ihrem Katalog lernen zu dürfen. Ein Such-Indexer bittet darum, ihn zitieren zu dürfen. Ein nutzerausgelöster Fetcher ist ein Kunde, der genau jetzt eine Frage zu Ihrem Produkt stellt. Den ersten zu blockieren ist eine Lizenzentscheidung. Den dritten zu blockieren heißt, den Hörer aufzulegen.

Forrester hat ermittelt, dass 94 % der geschäftlichen Einkäufer in ihrem jüngsten Kaufprozess KI eingesetzt haben. Ein erheblicher Teil der Abrufe, die mit einem KI-User-Agent auf Ihrem Origin auflaufen, ist kein Scraping – dahinter steckt jemand, der mitten in einer Entscheidung eine Stückliste offen hat. Ihre robots.txt sollte zwischen beiden unterscheiden; die meisten tun es nicht.

Jeder KI-User-Agent, der 2026 zählt

Fünf Punkte in dieser Tabelle werden regelmäßig missverstanden oder übersehen; sie sind es wert, ausdrücklich benannt zu werden.

`Google-Extended` und `Applebot-Extended` sind keine Crawler. Keiner von beiden ruft irgendetwas ab. Es sind Berechtigungs-Token: Google-Extended steuert, ob bereits von Googlebot gecrawlte Inhalte zum Training von Gemini und zum Grounding seiner Antworten verwendet werden dürfen, und die Dokumentation von Apple stellt ausdrücklich klar, dass Applebot-Extended „keine Webseiten crawlt“ und „ausschließlich dazu dient, festzulegen, wie die vom User-Agent Applebot gecrawlten Daten verwendet werden“. Ein Disallow für Applebot-Extended entfernt Sie nicht aus den Ergebnissen von Siri, Spotlight oder Safari.

Anthropic ist bei nutzerausgelösten Abrufen die Ausnahme. OpenAI schreibt zu ChatGPT-User: „weil diese Aktionen von einem Nutzer ausgelöst werden, gelten robots.txt-Regeln möglicherweise nicht“. Perplexity gibt an, Perplexity-User „ignoriert robots.txt-Regeln in der Regel“. Googles Dokumentation sagt über die eigenen nutzerausgelösten Fetcher: „weil der Abruf von einem Nutzer angefordert wurde, ignorieren diese Fetcher robots.txt-Regeln in der Regel“. Amazon erklärt, Amzn-User „befolgt möglicherweise nicht alle robots.txt-Direktiven“. Anthropic dokumentiert im Gegensatz dazu, dass seine Bots robots.txt beachten, und nennt Claude-User als Token, mit dem Website-Betreiber nutzerinitiierte Anfragen steuern können. Wenn Sie den gesamten Satz per Disallow ausschließen, ist Claude der Einzige, der tatsächlich aufhört – also das Gegenteil dessen, was die meisten beabsichtigen.

Amazon und Meta betreiben jeweils eine geteilte Flotte. Neben Amazonbot dokumentiert Amazon Amzn-SearchBot (Sucherlebnisse einschließlich Alexa und Rufus) und Amzn-User (Live-Aktionen von Nutzern); für beide gibt das Unternehmen an, dass sie nicht für das Training generativer KI crawlen. Meta betreibt Meta-ExternalAgent für Training und Indexierung sowie Meta-ExternalFetcher für nutzerangeforderte Abrufe, wobei Letzterer die robots.txt umgehen kann.

Bytespider ist ein Policy-Problem, kein robots.txt-Problem. ByteDance erklärt, robots.txt zu respektieren; Website-Betreiber berichten vielfach das Gegenteil. Wenn Sie ihn stoppen wollen, stoppen Sie ihn am Edge und verlassen Sie sich nicht auf die Datei.

Ein Hinweis zu `Gemini-Deep-Research`: Die veröffentlichte Crawler-Dokumentation von Google führt dieses Token bislang weder unter den gängigen Crawlern noch unter den nutzerausgelösten Fetchern auf, es ist aber aktiv im Einsatz, und große Distributoren adressieren es bereits namentlich – die robots.txt von Digi-Key erlaubt ausdrücklich sowohl Google-Extended als auch Gemini-Deep-Research, daneben GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User und Claude-SearchBot. Nehmen Sie es mit auf; ein unbekanntes Token in der robots.txt ist harmlos.

Was kostet es tatsächlich, die einzelnen Klassen zu blockieren?

Für Hersteller oder Distributoren, deren Katalog ohnehin öffentlich und bereits über Aggregatoren gespiegelt ist, ist das Blockieren der Trainings-Klasse überwiegend symbolisch: Die Daten erreichen die Modelle trotzdem, über Distributoren-Listings und Common Crawl. Was sich ändert, ist, wessen Version Ihrer Daten das Modell vorhält. Die beiden anderen Klassen zu blockieren, hat für einen öffentlichen Katalog überhaupt keinen Vorteil.

robots.txt zum Kopieren

Rezept A: maximale Sichtbarkeit für Agenten

Die richtige Voreinstellung für Hersteller oder Distributoren, deren Katalog öffentlich ist und deren kommerzielles Interesse darin besteht, gefunden und korrekt zitiert zu werden.

# --- Answer engines and user-triggered fetchers ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
User-agent: Amzn-SearchBot
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Training crawlers and permission tokens ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Everything else ---
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-products.xml

Rezept B: Retrieval erlauben, Training verweigern

Für Organisationen, die sich bewusst dagegen entschieden haben, zum Modelltraining beizutragen, die aber weiterhin gefunden und zitiert werden wollen. Beachten Sie den Preis: Ein Disallow für Google-Extended nimmt Ihre Inhalte nicht nur aus dem Training, sondern auch aus dem Grounding von Gemini heraus.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /account/

Rezept C: Katalog offen, alles andere geschlossen

Sinnvoll, wenn Katalog und Dokumentenbibliothek die Assets sind, die sichtbar werden sollen, und der Rest des Bestands nur Rauschen ist.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Disallow: /
Allow: /products/
Allow: /catalog/
Allow: /datasheets/
Allow: /documents/
Allow: /sitemap-products.xml

Nach RFC 9309 gewinnt die längste passende Pfadregel, sodass die Allow-Zeilen das pauschale Disallow: / für diese Präfixe außer Kraft setzen. Prüfen Sie das Ergebnis, statt es vorauszusetzen – das Verhalten der Parser weicht in Randfällen nach wie vor voneinander ab.

Ein „Nein“, das trägt: Content Signals

robots.txt steuert den Zugriff. Über die Verwendung, sobald die Bytes ausgeliefert sind, sagt sie nichts. Die am 24. September 2025 gestartete Content Signals Policy von Cloudflare ergänzt dieselbe Datei um eine maschinenlesbare Nutzungspräferenz mit drei Signalen: search (Aufbau eines Suchindex und Bereitstellung von Suchergebnissen), ai-input (Einspeisen von Inhalten in ein oder mehrere KI-Modelle) und ai-train (Training oder Fine-Tuning von KI-Modellen).

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /account/

Cloudflare hat search=yes, ai-train=no auf über 3,8 Millionen Domains angewendet, die die verwaltete robots.txt aktiviert hatten, und ai-input dabei bewusst ungesetzt gelassen, statt zu raten. Das ist eine erklärte Präferenz, kein Durchsetzungsmechanismus – aber es ist eine klare, datierte, maschinenlesbare Absichtserklärung, und die zu haben lohnt sich.

Warum Schweigen zunehmend „Nein“ bedeutet

Zwanzig Jahre lang bedeutete eine fehlende robots.txt-Regel „Ja“. Diese Voreinstellung wird gerade auf der Infrastrukturebene zurückgenommen, und Hersteller, die die Datei nie angefasst haben, werden von ihrem CDN abgemeldet.

• 1. Juli 2025 – Cloudflare, das vor rund einem Fünftel des Webs sitzt, blockierte als erster großer Infrastrukturanbieter KI-Crawler standardmäßig und fragt seither bei jeder neu aufgeschalteten Domain vorab ab, ob sie zugelassen werden sollen.
• 24. September 2025 – Die Content Signals Policy ging live, mit ai-train=no als Standard für 3,8 Millionen verwaltete Domains.
• 1. Juli 2026 – Cloudflare kündigte an, dass ab dem 15. September 2026 bei neuen Domains, bei neuen Websites bestehender Kunden und bei allen bestehenden Kunden im Free-Tarif die Crawler-Kategorien Training und Agent auf Seiten mit Werbeanzeigen standardmäßig blockiert werden. Search bleibt erlaubt. Mehrzweck-Crawler, die Search mit Training vermischen, erben die restriktivste Regel.

Lesen Sie den letzten Punkt genau, denn er wird häufig falsch zitiert. Er gilt nur für werbefinanzierte Seiten – und das sind die meisten Herstellerkataloge nicht. Die Änderung, die Sie bereits betrifft, ist die von 2025: Wenn Ihre Website vor Kurzem auf ein modernes CDN aufgeschaltet wurde oder auf einem Free-Tarif läuft, weisen Sie KI-Crawler womöglich schon heute ab, ohne dass das jemand entschieden hätte. Prüfen Sie es, statt es vorauszusetzen.

robots.txt ist eine Bitte. Ihre WAF ist die Durchsetzung.

Hier scheitern die meisten gut gemeinten Konfigurationen. robots.txt ist ein freiwilliges Protokoll, das kooperative Clients lesen. Ihr Bot-Manager ist ein hartes Gate, das anhand der verifizierten Quell-IP klassifiziert, und Standard-Regelsätze fordern oder blockieren routinemäßig alles, was nicht nach einem Browser aussieht. Ein Crawler, der Allow: / liest und daraufhin eine JavaScript-Challenge erhält, ist blockiert – ganz gleich, was in der Datei steht.

Jeder große Betreiber veröffentlicht seine IP-Bereiche, damit Sie sie sauber auf die Allowlist setzen können:

So prüfen Sie, ob eine bestimmte Adresse in Ihren Logs wirklich zu OpenAI gehört:

python3 - <<'EOF'
import ipaddress, json, urllib.request
probe = ipaddress.ip_address("132.196.86.5")
data = json.load(urllib.request.urlopen("https://openai.com/gptbot.json"))
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix"))
        for p in data["prefixes"]]
print(any(probe in n for n in nets if n.version == probe.version))
EOF

Drei Regeln am Edge decken das Meiste ab:

1. 01Setzen Sie die verifizierten Bereiche auf die Allowlist, bevor Ihre Bot-Score-Regel greift, beschränkt auf die öffentlichen Katalog- und Dokumentpfade.
2. 02Nehmen Sie diese Pfade von JavaScript-Challenges und Rate-Limits aus. Ein Client, der kein Browser ist, kann eine Challenge nicht lösen, und ein Crawler, der 40.000 SKU indexiert, löst ein Rate-Limit aus, das auf Menschen ausgelegt ist.
3. 03Setzen Sie nichts anhand des User-Agent-Strings auf die Allowlist. Das ist ein Freitext-Header. Gleichen Sie über die IP ab, optional zusätzlich über den User-Agent.

Denken Sie daran, dass jeder Origin separat konfiguriert wird. Ihre Produkt-Website, Ihre Dokumentations-Subdomain und Ihr CDN-Hostname brauchen jeweils eine eigene robots.txt und eine eigene WAF-Policy.

Wie prüfe ich anhand meiner Logs, ob es funktioniert hat?

Eine Konfiguration, die Sie nicht in den Logs verifiziert haben, ist eine Hypothese. Lassen Sie ein paar Tage verstreichen, bevor Sie das Ergebnis beurteilen: Betreiber cachen die robots.txt, und die Dokumentation von Meta weist darauf hin, dass Änderungen bis zu 24 Stunden brauchen können, während Amazon angibt, seine Crawler könnten eine innerhalb der letzten 30 Tage gecachte Kopie verwenden. Dann:

grep -aiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Gemini-Deep-Research|Applebot|Amazonbot|Bytespider|CCBot|Meta-External" access.log | wc -l

Schlüsseln Sie es anschließend nach Agent und Statuscode auf – das ist die Zahl, auf die es ankommt:

awk '/GPTBot/ {print $9}' access.log | sort | uniq -c | sort -rn

Worauf Sie achten sollten:

1. 01Ein Volumen ungleich null je Agent. Null Anfragen eines KI-Agenten über 72 Stunden hinweg bedeuten bei einem öffentlichen Katalog, dass Sie vorgelagert blockiert werden – und nicht bloß, dass Sie unbeliebt sind.
2. 02Eine von 2xx dominierte Statusverteilung. Eine Wand aus 403ern bedeutet, dass die WAF die robots.txt übersteuert. Eine Wand aus 404ern bedeutet, dass Ihre Sitemap oder Ihre internen Links auf URLs zeigen, die es nicht mehr gibt.
3. 03Dokumentpfade tauchen auf, nicht nur Produktpfade. Wenn /datasheets/ nie erscheint, ist Ihre technische Bibliothek unsichtbar.
4. 04Antwortgrößen, die plausibel sind. Wiederholte 200er mit 4–15 KB auf Produkt-URLs bedeuten in der Regel, dass Crawler eine leere, clientseitig gerenderte Hülle erhalten – technisch erlaubt, praktisch nutzlos.
5. 05Dass die nutzerausgelösten Agenten überhaupt auftauchen. Traffic von ChatGPT-User, Claude-User und Perplexity-User ist das, was einem Echtzeitsignal für Käuferinteresse am nächsten kommt. Er ist ein eigenes Reporting wert.

Häufige Fehler

• Nutzerausgelöste Fetcher versehentlich zu blockieren, mit einer Pauschalregel, die eigentlich auf Trainings-Crawler zielt.
• Die robots.txt korrekt zu setzen und die WAF unangetastet zu lassen. Das sind zwei Schalter, und beide müssen umgelegt werden.
• Die Dokumentations-Subdomain, das DAM und das CDN zu vergessen – jedes davon ist nach RFC 9309 ein eigener Origin.
• Crawler von CSS- und JavaScript-Assets auszusperren. Für reine Text-Crawler spielt das keine Rolle, aber Googlebot und Applebot rendern beide, und wer ihnen die Assets vorenthält, verschlechtert das, was sie zu sehen bekommen.
• Anzunehmen, ein Aggregator führe Ihre Daten korrekt. Er führt das, was er gescrapt hat – zu dem Zeitpunkt, an dem er es gescrapt hat.
• llms.txt als Ersatz zu behandeln. Kein großer Betreiber hat sich verpflichtet, die Datei zu lesen, und Logs zeigen im Allgemeinen, dass sie nie angefordert wird.

Partsgraph hat im August 2026 weltweit 984 Distributoren- und Herstellerdomains geprüft – in Nordamerika, Europa und Asien. Nur 19 % veröffentlichten überhaupt eine ausdrückliche Policy für KI-Crawler – und unter diesen blockierten mehr als doppelt so viele einen großen KI-Crawler, wie ihn einluden. Keine einzige wies einen MCP-Endpunkt aus. Median der KI-Sichtbarkeit: 50 von 100 Punkten. Ein Wettbewerb darum ist noch nicht entstanden – und genau deshalb gehört eine gut gebaute robots.txt nach wie vor zu den wirkungsvollsten Arbeitsstunden, die einem Produktdaten-Team zur Verfügung stehen.

Prüfen Sie mit dem kostenlosen Partsgraph-Grader unter [/audit](/audit), was KI-Crawler auf Ihrer Domain tatsächlich erreichen.