Ajan Tabanlı Web ve Endüstriyel Ürün Verisi
Kısaca
Ajan tabanlı web, endüstriyel üreticilerin yayımlaması gerekenleri nasıl değiştiriyor?
Web; web tarayıcıları için optimize edilmiş bir insan yüzeyi ile ajanlar için optimize edilmiş bir makine yüzeyine ayrışıyor ve bu ikisi artık farklı kurallarla yönetiliyor. Otomatik trafik insan trafiğini çoktan geçti — Imperva, 2025'te web trafiğinin %53'ünü otomatik olarak ölçtü — ve altyapı sağlayıcıları bunu artık ölçümlemeye başladı: 15 Eylül 2026'dan itibaren Cloudflare, yeni siteler ile ücretsiz plandaki sitelerde reklam taşıyan sayfalarda yapay zeka eğitim ve ajan tarayıcılarını varsayılan olarak engelliyor; topyekûn engellemenin yerini alması beklenen seçenekler ise tarama başına ödeme ve kriptografik olarak imzalanmış ajan kimliği. Bir üretici için pratik sonuç şu: taranabilir olmak artık ulaşılabilir olmakla aynı şey değil ve doğru ve ulaşılabilir hâle ilk gelen şirketler varsayılan cevap oluyor.
Web'in artık iki kitlesi var ve yalnızca birinin gözü var
Otuz yıl boyunca web'de yayın yapmak, elinde fare tutan bir insan için yayın yapmak demekti. Ardından gelen her şey — sayfa düzeni, JavaScript çatıları, çerez bildirimleri, analitik, reklam envanteri — hattın öbür ucunda bir insan olduğunu varsaydı.
Bu varsayım artık doğru olduğundan daha sık yanlış. Imperva'nın 2026 Bad Bot Report'u, 2025'te otomatik trafiğin tüm web trafiğinin %53'ünü oluşturduğunu — bir önceki yıl %51'di — insan trafiğinin ise %47'ye gerilediğini ve düşmeye devam ettiğini buldu. Cloudflare, 2026 tarayıcı politikasını duyururken aynı tespiti yaptı: internet trafiğinin çoğunluğu insan kaynaklı değil.
İlginç olan sonuç bu oran değil. Asıl mesele, iki kitlenin artık ayrı ayrı yönetiliyor olması — farklı erişim kuralları, farklı fiyatlandırma, farklı kimlik gereksinimleri. Web, bir insan yüzeyi ile bir makine yüzeyine ayrışıyor ve endüstriyel üreticiler ikincisi üzerine düşünmeye şimdiye kadar hiç vakit ayırmadı.
Ekonomik denge neden bozuldu?
Arama işe yarıyordu, çünkü bir takastı. Bir tarayıcı sayfanızı alıyor, karşılığında ziyaretçi gönderiyordu. Yayıncılar bu anlaşmayı kabul etti, çünkü kur lehlerineydi.
Yapay zeka destekli erişim bu kuru bozdu. Cloudflare, 2025'te Radar üzerinde tarama-yönlendirme oranlarını — gönderilen her yönlendirme başına taranan sayfa sayısını — yayımlamaya başladı ve rakamlar, aramada olağan olan ziyaretçi başına birkaç tarama ya da daha azı seviyesinin yanına bile yaklaşmıyordu. Haziran 2025 sonuna ait bir örneklemde Anthropic'in tarayıcısı, yönlendirme başına yaklaşık 70.900 taranan sayfa düzeyindeydi. Cloudflare ayrıca 2026'da, yapay zeka tarama trafiğinin yarısından fazlasının hiç değişmemiş sayfaları yeniden çekmeye harcandığını bildirdi.
Bu arada takasın insan tarafı da kendi başına inceldi. SparkToro, 2026'nın başında ABD'deki Google aramalarının %68'inin tıklama olmadan sonlandığını, açık web'e ulaşan tıklamaların ise 1.000 arama başına yaklaşık 276 olduğunu ölçtü; bu sayı 2024'te 374'tü.
Yani yayıncılar için alınan sürekli artarken karşılığında verilen azaldı; onlar da tahmin edilebilir olanı yaptı.
Ancak dikkat edin: bu mantık, içeriğin bizzat ürün olduğu işletmelere özgüdür. Bir üreticinin teknik veri sayfası sayfa görüntülemesiyle paraya çevrilmez. Kâr marjıyla sattığınız fiziksel bir şeyin pazarlama materyalidir. Bir asistan kataloğunuzun tamamını 70.000 kez okur ve size, parçanızı 500.000 adetlik bir programa spesifiye eden tek bir mühendis gönderirse, kazanmışsınızdır. Yayıncının tarama-yönlendirme şikâyeti, sorgulanmadan endüstriyel bağlama taşındığında tam olarak yanlış politikayı üretir.
Geçiş kapıları aslında ne yapıyor?
| Mekanizma | Nedir | Durum | Bir üretici açısından önemi |
|---|---|---|---|
| Amaca dayalı sınıflandırma | Cloudflare yapay zeka trafiğini, her biri ayrı ayrı denetlenebilen Arama, Ajan ve Eğitim olarak ayırıyor | Devrede; yeni varsayılanlar 15 Eylül 2026'dan itibaren | Yüksek — hazır bir varsayılanı devralmak yerine her kategori için kendi politikanızı belirlemelisiniz |
| Reklamlı sayfalarda varsayılan engelleme | Reklam taşıyan sayfalarda Eğitim ve Ajan tarayıcıları varsayılan olarak engelleniyor; karma amaçlı tarayıcılar bu sayfalarda tamamen engelleniyor | 15 Eylül 2026'dan itibaren; yeni müşteriler, yeni siteler ve mevcut ücretsiz plan siteleri için | Dolaylı — kataloğunuzun reklam taşıması olası değil, ama parçalarınızı konu edinen sektör basınının taşıması muhtemel |
| Tarama başına ödeme | Fiyat bildiren HTTP 402 yanıtları; crawler-max-price, crawler-exact-price ve crawler-charged başlıklarıyla, uç katmanda mahsuplaşarak | Özel beta | Bugün için düşük; ölçümlemenin nereye gittiğine dair bir işaret |
| Web Bot Auth / imzalı ajanlar | HTTP Message Signatures ve bir Signature-Agent başlığı üzerinden kriptografik ajan kimliği; user-agent dizelerinin yerini alıyor | Cloudflare tarafından Ağustos 2025'te yayına alındı; IETF sürecinde ilerliyor | Yüksek — bilinen bir ajana yetkiye bağlı veri sunmanın ön koşulu budur |
Ticari açıdan asıl önemli olan son satır ve endüstriyel tedarikte kimsenin konuşmadığı satır da o.
Bir endüstriyel tedarikçinin gerçekte üzerinden satış yaptığı her şey — sözleşmeli fiyatlandırma, tahsis edilmiş stok, müşteriye özel teslim süreleri, onaylı muadil listeleri — açıkça yayımlayamayacağınız veridir. Bugün bu, ajanların herkese açık liste fiyatını ve genel bir stok durumu ifadesini almasına, yani yanlış bir şey almasına yol açıyor. Doğrulanabilir ajan kimliği, "bunu açığa çıkaramayız" cümlesini "bunu, şu müşteri adına hareket eden şu ajana açabiliriz ve kaydını tutabiliriz" cümlesine dönüştüren şeydir. Bu bir tarayıcı engelleme hikâyesi değil. Tesadüfen aynı altyapı üzerinde çalışan bir kanal etkinleştirme hikâyesidir.
llms.txt dersi
llms.txt üzerinde durmaya değer, çünkü bu pazarın emeği nasıl yanlış yere harcadığının kusursuz bir örneği.
Öneri makuldü: yapay zeka sistemlerine iyi içeriğinizin nerede olduğunu söyleyen düz metin bir dosya. Geniş ölçüde benimsendi. Her pazarlama bülteninde yazıldı. Ardından Ahrefs 137.210 alan adını inceledi ve yayımlanmış llms.txt dosyalarının %97'sinin Mayıs 2026'da sıfır istek aldığını buldu. Gerçekleşen çekimlerin çoğu yapay zeka sistemlerinden değil SEO denetim araçlarından geliyordu ve çalışma, ChatGPT, Perplexity ya da AI Overviews içinde herhangi bir alıntı artışına dair kanıt bulamadı.
Aynı veri kümesi bu arada tüm isteklerin %19,5'ini yapay zeka botlarının oluşturduğunu, %10,5 ile en büyük yapay zeka kategorisinin ajan altyapısı olduğunu gösteriyordu. Makineler kesinlikle oradaydı. Yalnızca asıl sayfalarınızı çekiyorlardı — birçok üreticinin istemci tarafında render ettiği, dolayısıyla boş sunduğu sayfaları.
Ders tek bir dosyanın ötesine genellenebilir. Bir kuralın benimsenmesi, tüketilmesiyle aynı şey değildir. Güvenilir ölçüt, bir standardın tartışmalarda ivme kazanıp kazanmadığı değil; gerçek istemcilerin onu çekip çekmediğidir. Şu anda bu testi iki şey geçiyor: sunucuda render edilen HTML ve Model Context Protocol uç noktaları — MCP, Mart 2026 itibarıyla aylık yaklaşık 97 milyon SDK indirmesine ulaştı ve Aralık 2025'te Linux Foundation bünyesindeki Agentic AI Foundation altında tarafsız yönetişime geçti; platin üyeler arasında AWS, Anthropic, Block, Bloomberg, Cloudflare, Google, Microsoft ve OpenAI yer alıyor.
Düzenleyici akıntı da aynı yöne akıyor
Endüstriyel veriyi makine tarafından okunabilir biçime iten ikinci bir güç daha var ve bunun yapay zekayla hiçbir ilgisi yok.
16 Temmuz 2026'da kabul edilen (AB) 2026/1778 sayılı Komisyon Uygulama Tüzüğü, Sürdürülebilir Ürünler için Ekotasarım Tüzüğü kapsamında kurulan Dijital Ürün Pasaportu kayıt sisteminin işleyiş esaslarını belirledi — yapı, kimlik doğrulama, kayıt, kayıt kanıtı, günlükleme ve saklama. Komisyon kayıt sistemini birkaç gün sonra devreye aldı. Yapı malzemeleri, gözden geçirilmiş Yapı Malzemeleri Tüzüğü kapsamında ayrı bir hatta ve daha uzun bir takvimle ilerliyor.
Uyum dilini soyup çıkardığınızda gereklilik şu: yapılandırılmış, makine tarafından okunabilir, kimliği ve kökeni doğrulanmış, üçüncü bir tarafça erişilebilir ürün verisi. Bu, neredeyse birebir ajana hazır bir kataloğun tarifidir. DPP uyumunu ve yapay zeka okunabilirliğini iki ayrı bütçeli, birbiriyle ilgisiz iki program gibi ele alan her üretici, aynı varlığı iki kez inşa ediyor demektir.
Bir üretici aslında ne yapmalı?
- 01Bir makinenin ne gördüğünü test edin. Kendi katalog sayfalarınızı, web tarayıcısı olmayan sade bir istemciyle çekin. Partsgraph Ağustos 2026'da dünya genelinde 984 distribütör ve üretici alan adını denetlediğinde, bunların %38'i standart, web tarayıcısı olmayan bir istemciye okunabilir hiçbir katalog sayfası döndürmedi ve medyan yapay zeka görünürlük puanı 100 üzerinden 50 çıktı. Olağan şüpheli istemci tarafı render ve bu, normal analitik ekranlarının hiçbirinde görünmüyor.
- 02Açık bir tarayıcı politikası yazın ve yayımlayın. Neye izin verdiğinize kategori bazında karar verin: arama dizinleme, cevap için erişim, ajan erişimi, eğitim. Aynı denetimde 984 alan adının yalnızca %19'u, başlıca botları adıyla anan açık bir yapay zeka tarayıcı politikası yayımlamıştı — yani beşte dördü, CDN sağlayıcısının onlar adına seçtiği varsayılanla çalışıyor; uç katmandaki varsayılanlar sıkılaştıkça sessizlik "hayır" anlamına geliyor.
- 03CDN varsayılanlarınızı 15 Eylül 2026'dan önce kontrol edin. Ücretsiz bir plandaysanız ya da yeni mülkler açıyorsanız, varsayılanlar ayağınızın altından değişiyor. Bu, kimsenin ajandasına yazmadığı on dakikalık bir iş.
- 04Ayrım gözetmeden engellemeyin. Bir yayıncının engelleme duruşunu kopyalamak, hiç elde etmediğiniz bir geliri optimize eder ve gerçekten ihtiyaç duyduğunuz dağıtımdan sizi eder.
- 05Kalıcı veriyi statik, değişken veriyi canlı sunun. Parametrik özellikler, uygunluk durumu ve yaşam döngüsü sunucuda render edilebilir ve yapılandırılabilir. Stok, teslim süresi ve sözleşmeli fiyat ise hangi yenileme sıklığında olursa olsun doğru taranamaz; bunların yeri sorgulanabilir bir uç noktanın arkasıdır.
- 06Yalnızca erişime değil, kimliğe hazırlanın. İmzalı ajanlar, yetki farkındalığı olan yanıtları mümkün kılacak. Fiyatlandırma ve stok verisini önceden normalleştirmiş tedarikçiler bunu kullanabilecek; normalleştirmemiş olanlar o pencereyi veri temizliğiyle geçirecek.
- 07Yalnızca görünürlüğü değil, doğruluğu izleyin. Kendinden emin biçimde verilmiş yanlış bir teslim süresi, hiç verilmemiş olandan daha çok ticari zarar verir ve ikisi de bir sıralama raporunda görünmez.
Burada ilk olmak neden her zamankinden daha önemli?
Erken davranmak için özel bir neden var ve bu, alışıldık yer kapma argümanı değil.
Asistanlar yakınsar. Bir model, belirli bir soru sınıfını doğru ve ucuz biçimde yanıtlayan bir kaynak bulduğunda — belirsizliğe yer bırakmadan ayrıştırılan, parça numaralarını tutarlı biçimde çözen ve sayfalar arasında kendisiyle çelişmeyen bir kaynak — o kaynak, sınıfın tamamı için en az direnç gösteren yol hâline gelir. Daha çok çekilir, daha çok alıntılanır ve bir sonraki eğitim turunda ve üzerine kurulan erişim dizinlerinde pekişir.
Bu, sonradan daha büyük bir bütçeyle geri satın alabileceğiniz bir sıralama değil, çünkü mekanizma bir açık artırma değil. Bir varsayılan. Ve endüstriyel varsayılanlar alışılmadık ölçüde kalıcıdır, çünkü kalıcı belgelerin içinden geçerek aklanırlar: onaylı tedarikçi listesi, standart bir şartname, şablon bir malzeme listesi. 2026'da varsayılan cevap hâline gelen bir parça, 2031'de hâlâ şablonun içindedir.
Bunun doğal sonucu, tablonun netleşmesini bekleyen herkes için rahatsız edici. Erken olmanın bedeli bir veri projesidir. Geç kalmanın bedeli ise sonradan yapılan bir veri projesi değildir — hâlihazırda varsayılan cevap olan bir rakibe karşı sonradan yapılan bir veri projesidir.
[/audit](/audit) adresindeki ücretsiz değerlendirme aracı, bugün bir makinenin kataloğunuzdan tam olarak ne okuduğunu ve boşlukların nerede olduğunu gösterir.
Sık sorulan sorular
15 Eylül 2026'da ne değişiyor?
Cloudflare, yapay zeka tarayıcı trafiğini tek bir sınıf gibi ele almak yerine Arama, Ajan ve Eğitim olarak sınıflandırmaya başlıyor. O tarihten itibaren reklam gösteren sayfalarda Eğitim ve Ajan tarayıcıları varsayılan olarak engelleniyor; amacını her istek bazında beyan etmeyen karma amaçlı tarayıcılar ise bu sayfalarda tamamen engelleniyor. Varsayılanlar yeni müşteriler, mevcut müşterilerin oluşturduğu yeni siteler ve tüm mevcut ücretsiz plan siteleri için geçerli; ücretli müşteriler bunları önceden güvenlik ayarlarından değiştirebiliyor.
Bu, bir üreticinin ürün kataloğunu etkiler mi?
Genellikle doğrudan etkilemez, çünkü varsayılanlar reklam taşıyan sayfaları esas alıyor ve çoğu üretici kataloğunda reklam bulunmuyor. Yine de iki dolaylı nedenle önemli. Birincisi, parçalarınızın konuşulduğu sektör yayınları, distribütör içerikleri ve teknik forumlar çoğunlukla reklam gelirine dayanır; dolayısıyla ürünlerinizle ilgili üçüncü taraf içerikler asistanlar için daha az erişilebilir hâle gelebilir. İkincisi, tarayıcı erişiminin ölçümlenen ve amaca göre verilen bir izin olduğu emsalini yaratıyor — ve bu model yayılacak.
Tarama-yönlendirme oranı nedir ve neden önemli?
Bir yapay zeka şirketinin, geri gönderdiği her ziyaretçi başına taradığı sayfa sayısıdır. Cloudflare bu oranları 2025'te Radar üzerinde yayımlamaya başladı; Haziran 2025 sonuna ait bir örneklemde Anthropic'in tarayıcısı yönlendirme başına yaklaşık 70.900 taranan sayfa düzeyindeydi; klasik aramada ise gönderilen ziyaretçi başına birkaç tarama ya da daha azı olağandı. Yayıncıların engellemeye başlamasının nedeni bu oran. Bir üretici içinse durum tersine döner: trafiğe karşılık reklam satmıyorsunuz, dolayısıyla yüksek bir tarama-yönlendirme oranı sizin için bir maliyet değil — bedelini ödemediğiniz bir dağıtımdır.
llms.txt dosyası yayımlamalı mıyım?
Neredeyse hiçbir maliyeti yok ve neredeyse hiçbir işe yaramıyor. Ahrefs 137.210 alan adını inceledi; yayımlanmış llms.txt dosyalarının %97'sinin Mayıs 2026'da sıfır istek aldığını, gerçekleşen çekimlerin çoğunun yapay zeka sistemlerinden değil SEO araçlarından geldiğini ve ölçülebilir bir alıntı artışı olmadığını buldu. Bedavaysa yayımlayın; ancak sunucuda render edilen sayfaların, yapılandırılmış verinin, akışların ya da bir uç noktanın yerine geçmesine asla izin vermeyin.
Web Bot Auth nedir ve bir üretici bunu neden önemsemeli?
Otomatik bir istemcinin, kolayca taklit edilebilen bir user-agent dizesine güvenmek yerine HTTP Message Signatures, ajan başına bir Ed25519 anahtarı ve bir Signature-Agent başlığı kullanarak kimliğini kriptografik olarak kanıtlamasının yoludur. Cloudflare imzalı ajanları Ağustos 2025'te yayına aldı; ilk grupta ChatGPT agent ve Block'un Goose'u yer alıyordu ve çalışma şimdi IETF sürecinde ilerliyor. Önemli, çünkü farklı ajanlara farklı veri sunmanın ön koşulu budur — sözleşmeli fiyatlandırmanın ve müşteriye özel stok bilgisinin ajanlara güvenli biçimde ulaşması da nihayetinde bu yolla olacak.
Yapay zeka tarayıcılarını engellemek endüstriyel bir tedarikçi için makul bir varsayılan mı?
Neredeyse hiçbir zaman. Engelleme, içeriğin bizzat ürün ve trafiğin gelir olduğu yerlerde anlamlıdır: yayıncılık, medya, araştırma. Bir üretici ya da distribütör içinse katalog, fiziksel bir ürünün pazarlama materyalidir ve bir asistanın cevabında yer almamak size bir spesifikasyon kaybettirir. Doğru duruş seçici olmaktır: kataloğu açın, açık bir tarayıcı politikası yayımlayın ve sözleşmeli fiyatlandırma gibi gerçekten ticari açıdan hassas olan şeyleri ölçümleyin ya da kimlik doğrulamasının arkasına alın.
AB düzenlemeleri bununla nasıl kesişiyor?
Farklı bir saikle de olsa aynı yöne itiyor. 16 Temmuz 2026 tarihli (AB) 2026/1778 sayılı Komisyon Uygulama Tüzüğü, ESPR kapsamındaki AB Dijital Ürün Pasaportu kayıt sisteminin işleyiş kurallarını belirledi; Komisyon kayıt sistemini birkaç gün sonra devreye aldı. Yapı malzemeleri, gözden geçirilmiş Yapı Malzemeleri Tüzüğü kapsamında ayrı olarak ve daha ileri bir takvimle ele alınıyor. Uyum gerekliliği, kimliği ve kökeni doğrulanmış, yapılandırılmış ve makine tarafından okunabilir ürün verisidir — ki bu, ajan tabanlı webin talep ettiği varlığın büyük ölçüde aynısıdır. Bunu iki kez, bir kez Brüksel bir kez de asistanlar için inşa eden üreticiler bütçelerini israf ediyor.
Kaynaklar
- 01TechCrunch, Cloudflare's new policy pushes AI companies to pay for publishers' content (1 July 2026)
- 02Help Net Security, Cloudflare changes AI crawler access rules (2 July 2026)
- 03Cloudflare, Introducing pay per crawl
- 04Cloudflare, The crawl before the fall of referrals: crawl-to-refer ratios on Radar
- 05Cloudflare, The age of agents: cryptographically recognizing agent traffic (28 August 2025)
- 06IETF, HTTP Message Signatures for automated traffic architecture (Web Bot Auth)
- 07Ahrefs, We analysed 137,000 sites: 97% of llms.txt files never get read (May 2026)
- 08Imperva / Thales, 2026 Bad Bot Report: Bots in the Agentic Age
- 09SparkToro, In 2026, Less than One Third of Google Searches Still Send a Click
- 10Model Context Protocol, MCP joins the Agentic AI Foundation (9 December 2025)
- 11EUR-Lex, Commission Implementing Regulation (EU) 2026/1778 on the digital product passport registry (16 July 2026)
Yapay zeka asistanlarının bugün ürünlerinizde tam olarak neleri okuyup neleri okuyamadığını görün — tarayıcı politikası, katalog kapsamı, teknik doküman erişimi — puanlanmış ve dünya genelindeki 984 distribütör ve üreticiyle kıyaslanmış olarak.
Kataloğumu puanlaİlgili saha notları
Endüstriyel Tedarikte Ajan Tabanlı Ticaret: 2026 Gerçeği
Ajan tabanlı ticarette abartının ötesinde bugün ne işe yarıyor — ve Instant Checkout geri adımı darboğazın oto…
PazarYapay Zekâyla Spesifikasyon: B2B Satın Alma Nasıl Değişti
Mühendisler ve alıcılar artık tedarikçi sitesine girmeden önce asistana soruyor. Bunun spesifikasyona, tasarım…
PazarMühendisler bileşenleri yapay zekayla nasıl seçiyor (2026)
Yapay zeka destekli parça seçimi artık norm, ama mühendisler hâlâ veri sayfasından doğruluyor. Bu döngüde güve…