Yapay zeka tarayıcıları için robots.txt: 2026 rehberi

Kısa cevap

"Yapay zeka botlarını" tek bir şeymiş gibi düşünmeyi bırakın. Ekonomileri birbirinden tamamen farklı üç sınıf var ve hepsine birden uygulanan tek bir Disallow satırı neredeyse her zaman yanlış bir takas.

Bir eğitim tarayıcısı kataloğunuzdan öğrenmek için izin ister. Bir arama indeksleyicisi onu alıntılayabilmek için izin ister. Kullanıcı tetiklemeli bir getirici ise tam şu anda ürününüz hakkında soru soran bir müşteridir. Birincisini engellemek bir lisanslama kararıdır. Üçüncüsünü engellemek telefonu yüzüne kapatmaktır.

Forrester, kurumsal alıcıların %94'ünün en son satın alma sürecinde yapay zeka kullandığını ortaya koydu. Kaynak sunucunuza yapay zeka user-agent'ıyla gelen isteklerin kayda değer bir kısmı veri kazıma değildir — karşınızdaki, önünde bir malzeme listesi açık, karar aşamasındaki bir insandır. robots.txt dosyanız bu ikisini ayırt etmeli; çoğu dosya ayırt etmiyor.

2026'da önem taşıyan tüm yapay zeka user-agent'ları

Bu tablodaki beş nokta sürekli yanlış anlaşılıyor ya da gözden kaçıyor; açıkça söylemekte fayda var.

`Google-Extended` ve `Applebot-Extended` birer tarayıcı değildir. İkisi de hiçbir şey getirmez. Bunlar izin token'larıdır: Google-Extended, Googlebot tarafından zaten taranmış içeriğin Gemini'yi eğitmek ve yanıtlarını temellendirmek için kullanılıp kullanılamayacağını denetler; Apple'ın dokümantasyonu ise Applebot-Extended'ın "web sayfalarını taramadığını" ve "yalnızca Applebot user-agent'ının taradığı verinin nasıl kullanılacağını belirlemek için kullanıldığını" açıkça belirtir. Applebot-Extended'a Disallow uygulamak sizi Siri, Spotlight ya da Safari sonuçlarından çıkarmaz.

Kullanıcı tetiklemeli getiriler konusunda istisna Anthropic. OpenAI, ChatGPT-User için "bu eylemler bir kullanıcı tarafından başlatıldığından robots.txt kurallarının geçerli olmayabileceğini" belirtiyor. Perplexity, Perplexity-User'ın "robots.txt kurallarını genellikle yok saydığını" söylüyor. Google, kullanıcı tetiklemeli getiricileri için "istek bir kullanıcı tarafından yapıldığından, bu getiriciler robots.txt kurallarını genellikle yok sayar" diyor. Amazon, Amzn-User'ın "tüm robots.txt yönergelerine uymayabileceğini" belirtiyor. Anthropic ise bunun aksine botlarının robots.txt'e uyduğunu belgeliyor ve Claude-User'ı, site sahiplerinin kullanıcı kaynaklı istekleri denetlemek için kullanabileceği bir token olarak adlandırıyor. Tüm kümeye birden Disallow uygularsanız gerçekten duracak olan Claude olur — ki bu, çoğu kişinin amaçladığının tam tersidir.

Amazon ve Meta ikiye bölünmüş birer filo işletiyor. Amazon, Amazonbot'un yanı sıra Amzn-SearchBot (Alexa ve Rufus dahil arama deneyimleri) ve Amzn-User (canlı kullanıcı eylemleri) token'larını belgeliyor ve her ikisinin de üretken yapay zeka eğitimi için tarama yapmadığını söylüyor. Meta ise eğitim ve indeksleme için Meta-ExternalAgent, kullanıcı talebiyle yapılan getiriler için Meta-ExternalFetcher çalıştırıyor; ikincisi robots.txt'i atlayabiliyor.

Bytespider bir robots.txt sorunu değil, bir politika sorunudur. ByteDance robots.txt'e uyduğunu belirtiyor; site operatörleri ise yaygın biçimde aksini bildiriyor. Durdurmak istiyorsanız kenar katmanında durdurun, bu dosyaya güvenmeyin.

`Gemini-Deep-Research` hakkında bir not: Google'ın yayımladığı tarayıcı dokümantasyonu bu token'ı henüz ne yaygın tarayıcıları ne de kullanıcı tetiklemeli getiricileri arasında listeliyor, ama token aktif olarak kullanımda ve büyük distribütörler onu şimdiden adıyla ele alıyor — Digi-Key'in robots.txt dosyası; GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User ve Claude-SearchBot'un yanı sıra hem Google-Extended hem de Gemini-Deep-Research için açıkça izin veriyor. Siz de listeye ekleyin; robots.txt'te tanınmayan bir token zararsızdır.

Her sınıfı engellemenin gerçek maliyeti nedir?

Kataloğu zaten herkese açık olan ve zaten toplayıcılara kopyalanmış bir üretici ya da distribütör için eğitim sınıfını engellemek büyük ölçüde semboliktir: veri, distribütör listeleri ve Common Crawl üzerinden modellere nasılsa ulaşır. Değişen tek şey, modelin verinizin kimin sürümünü tuttuğudur. Diğer iki sınıfı engellemenin ise herkese açık bir katalog için hiçbir faydası yoktur.

Kopyala-yapıştır robots.txt

Tarif A: azami ajan görünürlüğü

Kataloğu herkese açık olan ve ticari çıkarı bulunmak ve doğru biçimde alıntılanmak olan bir üretici ya da distribütör için doğru varsayılan.

# --- Answer engines and user-triggered fetchers ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
User-agent: Amzn-SearchBot
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Training crawlers and permission tokens ---
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/
Allow: /

# --- Everything else ---
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-products.xml

Tarif B: erişime izin ver, eğitimi reddet

Model eğitimine katkıda bulunmama kararını bilinçli olarak almış, ama yine de bulunmak ve alıntılanmak isteyen kuruluşlar için. Bunun bedelini not edin: Google-Extended'a Disallow uygulamak, içeriğinizi eğitimin yanı sıra Gemini'nin yanıt temellendirmesinden de çıkarır.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /account/

Tarif C: katalog açık, gerisi kapalı

Öne çıkmasını istediğiniz varlıklar katalog ve doküman kütüphanesiyse ve geri kalan her şey gürültüyse işe yarar.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Gemini-Deep-Research
Disallow: /
Allow: /products/
Allow: /catalog/
Allow: /datasheets/
Allow: /documents/
Allow: /sitemap-products.xml

RFC 9309 uyarınca en uzun eşleşen yol kuralı kazanır; dolayısıyla Allow satırları, o önekler için genel Disallow: / kuralını geçersiz kılar. Sonucu varsaymak yerine doğrulayın — ayrıştırıcıların uç durumlardaki davranışı hâlâ değişkenlik gösteriyor.

Karşılığı olan bir "hayır" demek: Content Signals

robots.txt erişimi denetler. Baytlar sunulduktan sonraki kullanım hakkında hiçbir şey söylemez. Cloudflare'ın 24 Eylül 2025'te yayına aldığı Content Signals Policy, aynı dosyaya makine tarafından okunabilir bir kullanım tercihi ekliyor ve üç sinyal içeriyor: search (bir arama indeksi oluşturmak ve arama sonuçları sunmak), ai-input (içeriği bir ya da daha fazla yapay zeka modeline girdi olarak vermek) ve ai-train (yapay zeka modellerini eğitmek ya da ince ayar yapmak).

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /account/

Cloudflare, yönetilen robots.txt özelliğini etkinleştirmiş 3,8 milyondan fazla alan adına search=yes, ai-train=no uyguladı ve tahmin yürütmek yerine ai-input alanını bilerek boş bıraktı. Bu bir uygulama mekanizması değil, beyan edilmiş bir tercihtir — ama açık, tarihli ve makine tarafından okunabilir bir niyet beyanıdır; bulundurmaya değer.

Sessizlik neden giderek "hayır" anlamına geliyor

Yirmi yıl boyunca robots.txt'te bir kuralın bulunmaması "evet" demekti. Bu varsayılan, altyapı katmanında geri çekiliyor ve dosyaya hiç dokunmamış üreticiler CDN'leri tarafından kapsam dışı bırakılıyor.

• 1 Temmuz 2025 — web'in kabaca beşte birinin önünde duran Cloudflare, yapay zeka tarayıcılarını varsayılan olarak engelleyen ilk büyük altyapı sağlayıcısı oldu ve yeni eklenen her alan adına, bu tarayıcılara izin verilip verilmeyeceğini baştan sormaya başladı.
• 24 Eylül 2025 — Content Signals Policy yayına alındı; yönetilen 3,8 milyon alan adına varsayılan olarak ai-train=no uygulandı.
• 1 Temmuz 2026 — Cloudflare, 15 Eylül 2026'dan itibaren yeni alan adlarında, mevcut müşterilerin yeni sitelerinde ve ücretsiz katmandaki tüm mevcut müşterilerde, reklam gösteren sayfalarda Training ve Agent tarayıcı kategorilerinin varsayılan olarak engelleneceğini duyurdu. Search'e izin verilmeye devam ediyor. Search ile Training'i harmanlayan çok amaçlı tarayıcılar en kısıtlayıcı kuralı devralıyor.

Sonuncusunu tam olarak okuyun, çünkü çok sık yanlış aktarılıyor. Kapsamı reklamla gelir elde eden sayfalarla sınırlı; üretici kataloglarının çoğu bu kapsama girmiyor. Sizi hâlihazırda etkileyen değişiklik 2025 tarihli olan: siteniz yakın zamanda modern bir CDN'e taşındıysa ya da ücretsiz bir katmanda duruyorsa, kimse böyle bir karar almamış olsa bile yapay zeka tarayıcılarını çoktan geri çeviriyor olabilirsiniz. Varsaymadan önce kontrol edin.

robots.txt bir ricadır. Uygulamayı WAF'ınız yapar.

İyi niyetli yapılandırmaların çoğu tam burada çuvallıyor. robots.txt, uyumlu istemcilerin okuduğu gönüllü bir protokoldür. Bot yöneticiniz ise doğrulanmış kaynak IP'ye göre sınıflandırma yapan katı bir kapıdır ve varsayılan kural setleri, web tarayıcısına benzemeyen her şeye rutin olarak challenge uygular ya da onu engeller. Allow: / satırını okuyup ardından bir JavaScript challenge'ı alan bir tarayıcı, dosya ne derse desin engellenmiştir.

Her büyük operatör, düzgün biçimde izin listesine alabilesiniz diye IP aralıklarını yayımlıyor:

Loglarınızdaki belirli bir adresin gerçekten OpenAI'a ait olup olmadığını kontrol etmek için:

python3 - <<'EOF'
import ipaddress, json, urllib.request
probe = ipaddress.ip_address("132.196.86.5")
data = json.load(urllib.request.urlopen("https://openai.com/gptbot.json"))
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix"))
        for p in data["prefixes"]]
print(any(probe in n for n in nets if n.version == probe.version))
EOF

Kenar katmanındaki üç kural işin çoğunu hallediyor:

1. 01Doğrulanmış IP aralıklarını, bot skoru kuralınız devreye girmeden önce izin listesine alın; yalnızca herkese açık katalog ve doküman yollarıyla sınırlı olacak şekilde.
2. 02Bu yolları JavaScript challenge'larından ve hız sınırlarından muaf tutun. Web tarayıcısı olmayan bir istemci challenge çözemez ve 40.000 SKU indeksleyen bir tarayıcı, insanlara göre ayarlanmış bir hız sınırına takılır.
3. 03İzin listesini user-agent dizesine göre oluşturmayın. O yalnızca serbest metinden ibaret bir başlıktır. Önce IP üzerinden eşleştirin, isterseniz sonra user-agent'ı da ekleyin.

Her origin'in ayrı ayrı yapılandırıldığını unutmayın. Ürün sitenizin, dokümantasyon alt alan adınızın ve CDN ana bilgisayar adınızın her birinin kendi robots.txt dosyasına ve kendi WAF politikasına ihtiyacı vardır.

Loglarımdan işe yaradığını nasıl doğrularım?

Loglarda doğrulamadığınız bir yapılandırma yalnızca bir varsayımdır. Sonuç hakkında hüküm vermeden önce birkaç gün bekleyin: operatörler robots.txt'i önbelleğe alıyor; Meta'nın dokümantasyonu değişikliklerin yürürlüğe girmesinin 24 saati bulabileceği uyarısını yapıyor, Amazon ise tarayıcılarının son 30 gün içinde önbelleğe alınmış bir kopyayı kullanabileceğini söylüyor. Ardından:

grep -aiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|Gemini-Deep-Research|Applebot|Amazonbot|Bytespider|CCBot|Meta-External" access.log | wc -l

Sonra bunu ajana ve durum koduna göre ayrıştırın — asıl önemli sayı budur:

awk '/GPTBot/ {print $9}' access.log | sort | uniq -c | sort -rn

Aradığınız şeyler:

1. 01Her ajan için sıfırdan farklı bir hacim. Herkese açık bir katalogda 72 saat boyunca hiçbir yapay zeka ajanından istek gelmemesi, popüler olmadığınız değil, yukarı akışta engellendiğiniz anlamına gelir.
2. 022xx ağırlıklı bir durum dağılımı. Bir 403 duvarı, WAF'ın robots.txt'i geçersiz kıldığını gösterir. Bir 404 duvarı, site haritanızın ya da iç bağlantılarınızın artık var olmayan URL'lere işaret ettiği anlamına gelir.
3. 03Yalnızca ürün yollarının değil, doküman yollarının da görünmesi. /datasheets/ hiç görünmüyorsa teknik kütüphaneniz görünmez demektir.
4. 04Mantıklı yanıt boyutları. Ürün URL'lerinde tekrarlayan 4–15 KB'lık 200 yanıtları genellikle tarayıcıların boş, istemci tarafında render edilen bir kabuk aldığı anlamına gelir — teknik olarak izinli, pratikte işe yaramaz.
5. 05Kullanıcı tetiklemeli ajanların hiç değilse görünmesi. ChatGPT-User, Claude-User ve Perplexity-User trafiği, alıcı ilgisine dair elinizdeki gerçek zamanlıya en yakın sinyaldir. Ayrıca raporlanmaya değer.

Sık yapılan hatalar

• Eğitim tarayıcılarını hedefleyen genel bir kuralla, kullanıcı tetiklemeli getiricileri kazara engellemek.
• robots.txt'i doğru ayarlayıp WAF'a hiç dokunmamak. Bunlar iki ayrı anahtardır ve ikisinin de ayarlanması gerekir.
• RFC 9309 kapsamında her biri ayrı birer origin olan dokümantasyon alt alan adını, DAM'i ve CDN'i unutmak.
• Tarayıcıları CSS ve JavaScript varlıklarından engellemek. Yalnızca metin işleyen tarayıcılar için fark etmez, ama Googlebot da Applebot da render eder; onları varlıklardan mahrum bırakmak gördüklerini bozar.
• Bir toplayıcının verinizi doğru taşıdığını varsaymak. O, ne zaman kazıdıysa onu taşır.
• llms.txt'i bir ikame olarak görmek. Hiçbir büyük operatör onu okumayı taahhüt etmedi ve loglar genellikle bu dosyanın hiç istenmediğini gösteriyor.

Partsgraph, Ağustos 2026'da Kuzey Amerika, Avrupa ve Asya'da olmak üzere dünya genelinde 984 distribütör ve üretici alan adını denetledi. Yalnızca %19'u herhangi bir açık yapay zeka tarayıcı politikası yayımlamıştı — ve yayımlayanlar arasında büyük bir yapay zeka tarayıcısını engelleyenlerin sayısı, davet edenlerin iki katından fazlaydı. Hiçbiri bir MCP uç noktası duyurmuyordu. Medyan yapay zeka görünürlük puanı: 100 üzerinden 50. Bu açık henüz rekabet konusu değil — iyi kurgulanmış bir robots.txt'in, bir ürün verisi ekibinin harcayabileceği en yüksek kaldıraçlı saatlerden biri olmaya devam etmesinin nedeni de tam olarak bu.

Yapay zeka tarayıcılarının alan adınızda gerçekte neye erişebildiğini ücretsiz Partsgraph derecelendiricisiyle [/audit](/audit) adresinden kontrol edin.