Yapay zeka veri sayfalarınızı neden okuyamıyor

Kısa cevap

Bir veri sayfası yapay zekaya dört şekilde görünmez hale gelir ve hepsi de son derece sıradan. Dosya, daha çekilmeden önce bir bot kuralı, bir oturum açma ekranı ya da bir ara sayfa tarafından engelleniyordur. Dosya, metin katmanı bulunmayan taranmış bir görüntüdür; bu yüzden metin çıkarıcı sıfır karakter elde eder. Belgeye yalnızca, doğrudan adresi olmayan bir JavaScript görüntüleyicisi üzerinden ulaşılabiliyordur. Ya da PDF dosyası ayrı bir doküman sunucusunda durur — docs., media., bir DAM, bir CDN — ve ana siteniz ne kadar açık olursa olsun, o sunucunun kendi robots.txt dosyası ya da WAF katmanı hayır der.

Bunların hiçbiri egzotik değil. Dördü de yaygın ve herhangi biri tek başına yeterli. Sonucu açıkça söylemekte fayda var:

Esas alınan teknik şartname veri sayfasıdır. Ürün sayfası ise onun bir özetidir. Yapay zeka özeti okuyup kaynağı okuyamadığında, mühendislik sorularını özetten yanıtlar — ve yanlış yanıtlar.

Burada veri sayfaları neden web sayfalarından daha önemli

Bir ürün sayfası olsa olsa sekiz ila yirmi öznitelik taşır: kılıf, temel değer, yaşam döngüsü etiketi, fiyat, stok. Bir veri sayfası ise yüzlercesini taşır: mutlak maksimum değerler, sıcaklığa göre elektriksel karakteristikler, zamanlama diyagramları, pin açıklamaları, termal direnç değerleri, önerilen ayak izleri, nem hassasiyet seviyesi, sipariş kodu çözümleme tabloları. Bir mühendisin bir asistana gerçekten sorduğu hemen her soru — bunu 5,5 V'ta çalıştırabilir miyim, 85 derecede boşta çekilen akım nedir, pin dizilimi değiştirmekte olduğum parçayla uyumlu mu — veri sayfasında yanıtlanır, başka hiçbir yerde değil.

Bu, eskiye kıyasla artık daha da önemli; çünkü sorular sizin arama kutunuza yazılmak yerine asistanlara soruluyor. Forrester, Ocak 2026'da kurumsal alıcıların %94'ünün satın alma sürecinde artık yapay zeka kullandığını ortaya koydu. Üstelik en derin teknik içeriği taşıyan sayfalar, en kötü performans gösterenler: Adobe'nin Nisan 2026 tarihli perakende makine okunabilirliği analizi, ürün detay sayfalarını %66 ile tüm sayfa türleri içindeki en düşük seviyede puanladı; %75'lik ana sayfaların ve %80'lik SSS sayfalarının altında.

Temeldeki veriye erişilemediğinde ortaya çıkan sonuç sessizlik değil, kendinden emin hatadır. OpenAI, Mart 2026'da ChatGPT içindeki Instant Checkout özelliğini yaklaşık 30 satıcı canlıdayken kapattı ve bunun temel nedenlerinden biri hatalı ürün verisiydi: OpenAI ürün bilgisi için perakende sitelerini kazıyordu ve stok, kargo ve fiyat verileri sık sık yanlış çıkıyordu. Bu, yanlış bir maksimum değerle aynı hata biçimidir; sadece riski daha düşüktür.

Bir veri sayfasının okunamaz hale gelmesinin beş yolu

Beşincisi, en çok kendi elimizle yarattığımız sorundur. Kısa ömürlü imzalı adresler, "indirmek için kayıt olun" kapıları ve tek kullanımlık token'lar birer görünmez duvardır: bir tarayıcının oturumu, çerezi ve form doldurma davranışı yoktur. Ayrıca yapay zeka tarayıcıları JavaScript çalıştırmadığı için, DOM ağacına bir script tarafından yazılan her indirme bağlantısı onların tarafında hiç var olmaz.

Veri sayfalarımın okunabilir olup olmadığını nasıl kontrol ederim?

Üç komut meseleyi çözer. Bunları kendi belgelerinize karşı çalıştırın.

1. 01Çekimi kontrol edin. Adres, web tarayıcısı olmayan sıradan bir istemciye bir PDF dosyası döndürüyor mu?

curl -sSIL "https://example.com/datasheets/part-12345.pdf" | grep -iE "^HTTP|content-type|content-length"

Sonuçta bir 200 ve content-type: application/pdf görmek istersiniz. content-type: text/html ise, size indirme kılığında bir doğrulama ya da oturum açma sayfası verilmiş demektir.

1. 01İndirin ve gerçekten bir PDF dosyası olduğunu doğrulayın.

curl -sSL -o ds.pdf "https://example.com/datasheets/part-12345.pdf" -w "status=%{http_code} type=%{content_type} bytes=%{size_download}"
head -c 5 ds.pdf

İlk beş bayt %PDF- olmalıdır. <!DOC ise bir hata sayfası indirmişsinizdir.

1. 01Metin katmanını test edin. Kimsenin çalıştırmadığı komut bu.

pdftotext -q ds.pdf - | tr -d '[:space:]' | wc -c
pdffonts ds.pdf

Bir PDF dosyasının metin katmanı olup olmadığını nasıl anlarım?

İki sayı yeter ve aralarındaki uçurum tartışmasızdır. Her iki testi de gerçek ve güncel bir üretici veri sayfasına — Texas Instruments'ın LM358 parçası, 4,15 MB'lık bir PDF dosyası — ve aynı belgenin rasterleştirilmiş bir kopyasına karşı çalıştırdık; o kopya, taranmış eski bir veri sayfasının bir makineye tam olarak nasıl göründüğünü gösteriyor.

Teşhisin tamamı bu. Sıfır çıkarılabilir karakter ve sıfır gömülü yazı tipi, dosyada metin olmadığı anlamına gelir — yalnızca metnin bir resmi vardır. Belge bir insan için kusursuz görüntülenir ve bir modele kelimenin tam anlamıyla hiçbir şey katmaz. Hâlâ üretimde olan bir parçanın taranmış 1990'lar veri sayfası, internetteki her yapay zeka sistemi için boş bir sayfadır.

Bilmeye değer iki ayrıntı daha var. Düşük ama sıfır olmayan bir karakter sayısı — diyelim kırk sayfalık bir belgede birkaç yüz karakter — genellikle metin başlıklı ama taranmış gövdeli bir belgeye işaret eder ki bu da aynı ölçüde kullanılamaz. Bir de pdffonts çıktısındaki uni sütunu önemlidir: ToUnicode eşlemesi olmadan altkümelenmiş yazı tipleri, karakterler teknik olarak mevcut olsa bile bozuk karakter (mojibake) olarak çıkarılabilir. Yalnızca sayıya güvenmek yerine, çıkarılan metnin ilk 200 karakterini gözle kontrol edin.

Tüm bir kütüphaneyi taramak için döngüye alın:

while read -r url; do
  code=$(curl -sSL -o /tmp/d.pdf -w "%{http_code}" --max-time 30 "$url")
  chars=$(pdftotext -q /tmp/d.pdf - 2>/dev/null | tr -d '[:space:]' | wc -c)
  echo "$code $chars $url"
done < datasheet-urls.txt

Çıktıyı karakter sayısına göre artan biçimde sıralayın. O listenin en üstündeki her şey, ürün verinizdeki bir boşluktur.

Ayrı sunucu tuzağı

Bu tuzak, büyük kuruluşların neredeyse istisnasız hepsini yakalar; çünkü işleri düzgün yapmanın bir sonucudur. Belgeler bir DAM sistemine, bir dokümantasyon alt alan adına ya da bir CDN üzerine taşınır; bunların her biri kendi yapılandırması — ve çoğu zaman kendi sahibi — olan ayrı bir kaynaktır.

RFC 9309 uyarınca robots.txt dosyasının kapsamı tek bir kaynakla sınırlıdır: şema, sunucu adı ve port. https://www.example.com/robots.txt, https://docs.example.com/ üzerinde de https://cdn.example-media.net/ üzerinde de hiçbir şeyi yönetmez. Ana siteniz yapay zeka tarayıcılarını memnuniyetle karşılıyorsa ama doküman sunucunuz baştan sona Disallow: / içeren varsayılan bir şablonla ayağa kaldırıldıysa ya da insan olmayan her şeyi doğrulamaya sokacak biçimde yapılandırılmış bir bot yöneticisinin arkasındaysa, pazarlama siteniz ardına kadar açıkken tüm teknik kütüphaneniz karanlıkta demektir.

Belge sunan her kaynağı kontrol edin:

for h in www.example.com docs.example.com cdn.example-media.net; do
  echo "--- $h"
  curl -sS --max-time 15 "https://$h/robots.txt" | head -30
done

İyi olan neye benzer

Doğru yayımlanmış bir veri sayfasında dikkat çekici hiçbir şey yoktur; zaten mesele de budur. Texas Instruments, LM358 veri sayfasını /lit/ds/ altında sabit ve tahmin edilebilir bir adreste sunar; robots.txt dosyası bu yola hiçbir kısıtlama getirmez; dosya, kendisini GPTBot olarak tanıtan ve web tarayıcısı olmayan bir istemciye content-type: application/pdf ile 200 döndürür; PDF dosyası ise gömülü ve Unicode eşlemeli yazı tipleriyle eksiksiz bir metin katmanı taşır. Oturum açma yok, görüntüleyici yok, imzalı adres yok, ara sayfa yok. Dünyadaki her metin çıkarma hattı onu okuyabilir.

Bileşen sektöründeki gidişat, bunu daha da kolaylaştırma yönünde. Microchip, Kasım 2025'te ürün verisi — teknik özellikler, veri sayfaları, envanter, fiyatlandırma ve teslim süreleri — için ücretsiz ve kimlik doğrulaması gerektirmeyen bir MCP sunucusu yayımladı; ECIA bünyesindeki TrustedParts ise Haziran 2026'da, yetkili distribütör stok durumunu Copilot, ChatGPT ve Claude için erişilebilir kılan bir envanter yapay zeka ajanı servisi başlattı. İkisi de aynı gerçeğin kabulü: bir makinenin uğruna mücadele etmek zorunda kaldığı belge, kaybeden belgedir.

Bunu nasıl düzeltirsiniz?

Efora göre getiri sırasıyla:

1. 01Belge yollarındaki engelleri kaldırın. /datasheets/*, /lit/*, /documents/* ve muadili yollarda yapay zeka tarayıcılarına, yalnızca robots.txt dosyasında değil WAF katmanında da izin verin. Bunlar iki ayrı anahtardır ve ikisinin de açık olması gerekir.
2. 02Herkese açık teknik belgelerden indirme kapılarını kaldırın. Bir veri sayfası herkese açık sitenizdeyse, o zaten kamuya açıktır. Bir kayıt formu yalnızca sizi önerecek olan makineleri durdurur.
3. 03Salt görüntü olan her PDF dosyasını OCR ile işleyin ve metin katmanıyla yeniden yayımlayın. Önceliği belgenin yaşına göre değil, parçanın cirosuna göre belirleyin. Temiz bir 300 dpi taramada modern OCR, gövde metninde kayıpsıza yakındır; parametre tablolarını elle doğrulayın.
4. 04Her belgeye sabit, doğrudan ve bağlantı verilebilir bir adres verin. Blob yok, görüntüleyici yok, süresi dolan token yok, ?token= sorgu dizesi yok.
5. 05Her veri sayfasının HTML ya da markdown ikizini yayımlayın. Teknik özellik tabloları gerçek tablolar olsun. Tek başına en etkili değişiklik budur; çünkü PDF sayfa düzeni sezgisellerine olan tüm bağımlılığı ortadan kaldırır ve size doğruluk açısından izleyebileceğiniz bir sayfa kazandırır.
6. 06Belgeyi, ürün sayfasından sunucuda oluşturulan HTML içinde çapraz bağlayın; böylece sayfaya ulaşan bir tarayıcı, hiçbir şey çalıştırmadan belgeye de ulaşabilir.
7. 07Çıkarılan parametreleri yapılandırılmış veri olarak sunun — sayfada JSON-LD biçiminde ve ideal olarak sorgulanabilir bir uç nokta üzerinden — böylece bir ajan, her seferinde bir PDF dosyasını yeniden ayrıştırmak yerine bunlar üzerinde filtreleme yapabilir.

Partsgraph, Ağustos 2026'da dünya genelinde — Kuzey Amerika, Avrupa ve Asya'da — 984 distribütör ve üretici alan adını denetledi. Medyan yapay zeka görünürlük puanı 100 üzerinden 50 çıktı ve kohortun %70'i D ya da F aldı. Puanın istikrarlı biçimde en zayıf bileşeni belge katmanıydı: %38'i, web tarayıcısı olmayan standart bir istemciye tek bir okunabilir katalog sayfası bile veremedi ve belgeye erişim, sayfaya erişimden daha sık başarısız oldu.

İşin rahatsız edici yanı, bunların hiçbirinin analitiğinize yansımaması. Engellenen bir tarayıcı hata kaydı açmaz, kötü bir OCR istisna fırlatmaz ve veri sayfanızı okuyamayan bir model, alıcıya veri sayfanızı okuyamadığını söylemez. Yalnızca, PDF dosyası açılan bir rakibi önerir.

Kendi belge kütüphanenizi bu testlere karşı, ücretsiz Partsgraph yapay zeka görünürlük puanlayıcısıyla [/audit](/audit) adresinde kontrol edebilirsiniz.