Sieć agentowa a przemysłowe dane produktowe

Opublikowano 2026-08-0911 min czytaniaagentic web · crawlers · Cloudflare · Web Bot Auth

W skrócie

Jak sieć agentowa zmienia to, co producenci przemysłowi muszą publikować?

Internet rozdziela się na warstwę dla ludzi, zoptymalizowaną pod przeglądarki, i warstwę dla maszyn, zoptymalizowaną pod agentów, a obie podlegają już innym regułom. Ruch automatyczny przewyższa dziś ruch ludzki — Imperva zmierzyła, że w 2025 r. 53% ruchu w sieci było zautomatyzowane — a dostawcy infrastruktury zaczęli go rozliczać: od 15 września 2026 r. Cloudflare domyślnie blokuje roboty trenujące modele AI i roboty agentowe na stronach z reklamami w nowych serwisach oraz w serwisach na planie darmowym, a płatność za pobranie (pay-per-crawl) i kryptograficznie podpisana tożsamość agenta stają się alternatywą dla blokady całościowej. Dla producenta praktyczny wniosek jest taki, że możliwość zaindeksowania to już nie to samo co osiągalność, a firmy, które jako pierwsze staną się dokładne i osiągalne, stają się odpowiedzią domyślną.

Internet ma teraz dwie publiczności, a tylko jedna z nich ma oczy

Przez trzydzieści lat publikowanie w internecie oznaczało publikowanie dla człowieka trzymającego mysz. Wszystko, co szło za tym dalej — układ strony, frameworki JavaScript, banery cookie, analityka, powierzchnia reklamowa — zakładało człowieka po drugiej stronie.

Nothing in the top row changes. The layer reads from what already exists and publishes it in the shapes agents actually request.

To założenie jest dziś fałszywe częściej, niż jest prawdziwe. Raport Imperva 2026 Bad Bot Report wykazał, że w 2025 r. ruch automatyczny odpowiadał za 53% całego ruchu w sieci, wobec 51% wcześniej, przy ruchu ludzkim spadającym do 47% i nadal malejącym. Cloudflare zwrócił uwagę na to samo, ogłaszając swoją politykę wobec robotów na 2026 r.: większość ruchu w internecie nie pochodzi od ludzi.

Ciekawa nie jest jednak sama proporcja. Ciekawe jest to, że obie publiczności podlegają teraz osobnym regułom — innym zasadom dostępu, innym cennikom, innym wymogom co do tożsamości. Internet rozdziela się na warstwę dla ludzi i warstwę dla maszyn, a producenci przemysłowi nie poświęcili tej drugiej ani chwili namysłu.

Dlaczego ekonomia przestała się spinać?

Wyszukiwarki działały, bo była to wymiana. Robot brał twoją stronę i odsyłał odwiedzających. Wydawcy godzili się na ten układ, bo kurs wymiany był korzystny.

Wyszukiwanie oparte na AI zepsuło ten kurs. W 2025 r. Cloudflare zaczął publikować na Radarze wskaźniki crawl-to-refer — liczbę pobranych stron przypadającą na jedno odesłanie — a te liczby były dalekie od wyszukiwarkowej normy kilku pobrań lub mniej na jednego przysłanego odwiedzającego. W próbce z końca czerwca 2025 r. robot Anthropic osiągnął około 70 900 pobranych stron na jedno odesłanie. Cloudflare podał też w 2026 r., że ponad połowa ruchu robotów AI przypada na ponowne pobieranie stron, które się nie zmieniły.

Tymczasem ludzka strona tej wymiany kurczyła się niezależnie. SparkToro zmierzył, że na początku 2026 r. 68% amerykańskich wyszukiwań w Google kończyło się bez kliknięcia, a do otwartego internetu trafiało około 276 kliknięć na 1000 wyszukiwań — wobec 374 w 2024 r.

Wydawcy stanęli więc wobec rosnącej eksploatacji i malejącego wynagrodzenia i zrobili to, czego można się było spodziewać.

Zwróć jednak uwagę, że ta logika dotyczy wyłącznie firm, dla których treść jest produktem. Karta katalogowa producenta nie zarabia na odsłonach. Jest materiałem marketingowym fizycznej rzeczy, którą sprzedajesz z marżą. Jeśli asystent przeczyta cały twój katalog 70 000 razy i przyśle jednego inżyniera, który wpisze twoją część do programu na 500 000 sztuk, to wygrałeś. Skarga wydawców na wskaźnik crawl-to-refer, przeniesiona bezrefleksyjnie do kontekstu przemysłowego, prowadzi do polityki dokładnie odwrotnej niż potrzebna.

Co naprawdę robią bramki opłat

MechanizmCzym jestStatusZnaczenie dla producenta
Kategoryzacja według celuCloudflare dzieli ruch AI na Search, Agent i Training, a każdą kategorią można sterować osobnoDziała; nowe ustawienia domyślne od 15 września 2026 r.Wysokie — politykę dla każdej kategorii powinieneś ustalić sam, zamiast dziedziczyć cudzą
Domyślne blokowanie na stronach z reklamamiRoboty Training i Agent domyślnie zablokowane na stronach z reklamami; roboty o mieszanym przeznaczeniu zablokowane tam całkowicieOd 15 września 2026 r., dla nowych klientów, nowych witryn i istniejących witryn na planie darmowymPośrednie — twój katalog raczej nie ma reklam, ale prasa branżowa omawiająca twoje części już tak
Pay-per-crawlOdpowiedzi HTTP 402 z podaną ceną, z nagłówkami crawler-max-price, crawler-exact-price i crawler-charged, rozliczane na brzegu sieciZamknięta wersja betaDziś niskie; sygnał, dokąd zmierza rozliczanie dostępu
Web Bot Auth / podpisani agenciKryptograficzna tożsamość agenta przez HTTP Message Signatures i nagłówek Signature-Agent, zastępująca ciągi user-agentWdrożone przez Cloudflare w sierpniu 2025 r.; w toku prac IETFWysokie — to warunek konieczny, by udostępniać uprawnione dane znanemu agentowi

Ostatni wiersz jest tym, który ma znaczenie handlowe, i jednocześnie tym, o którym nikt w branży dostaw przemysłowych nie rozmawia.

Wszystko, na czym dostawca przemysłowy naprawdę zarabia — ceny kontraktowe, zaalokowane zapasy, terminy dostaw ustalone dla konkretnego klienta, listy zatwierdzonych zamienników — to dane, których nie da się opublikować otwarcie. Dziś oznacza to, że agenci dostają publiczną cenę katalogową i ogólnikowy komunikat o dostępności, czyli dostają informację nieprawdziwą. Weryfikowalna tożsamość agenta zamienia „nie możemy tego ujawnić” w „możemy to ujawnić temu agentowi, działającemu w imieniu tego klienta, i to zarejestrować”. To nie jest opowieść o blokowaniu robotów. To opowieść o otwieraniu kanału sprzedaży, która przypadkiem korzysta z tej samej instalacji.

Lekcja z llms.txt

Warto zatrzymać się przy llms.txt, bo to doskonała ilustracja tego, jak ten rynek marnuje wysiłek.

Propozycja była rozsądna: plik tekstowy wskazujący systemom AI, gdzie znajdują się twoje wartościowe treści. Przyjęto ją szeroko. Opisał ją każdy newsletter marketingowy. Następnie Ahrefs przeanalizował 137 210 domen i ustalił, że 97% opublikowanych plików llms.txt nie otrzymało w maju 2026 r. ani jednego żądania. Większość pobrań, które w ogóle nastąpiły, pochodziła z narzędzi audytowych SEO, a nie z systemów AI, a badanie nie wykazało żadnych oznak wzrostu liczby cytowań w ChatGPT, Perplexity ani w AI Overviews.

Tymczasem ten sam zbiór danych pokazał, że boty AI odpowiadały za 19,5% wszystkich żądań, przy czym największą kategorią AI była infrastruktura agentowa z wynikiem 10,5%. Maszyny jak najbardziej tam były. Po prostu pobierały twoje rzeczywiste strony — te, które wielu producentów renderuje po stronie klienta i przez to serwuje puste.

Lekcja wykracza poza jeden plik. Przyjęcie konwencji to nie to samo co korzystanie z niej. Wiarygodnym testem nie jest to, czy standard ma rozpęd w dyskusji; jest nim to, czy realni klienci go pobierają. Obecnie ten test przechodzą dwie rzeczy: HTML renderowany po stronie serwera oraz punkty końcowe Model Context Protocol — MCP osiągnął do marca 2026 r. około 97 milionów miesięcznych pobrań SDK i w grudniu 2025 r. przeszedł pod neutralne zarządzanie Agentic AI Foundation przy Linux Foundation, z AWS, Anthropic, Block, Bloomberg, Cloudflare, Google, Microsoft i OpenAI jako członkami platynowymi.

Prąd regulacyjny płynie w tę samą stronę

Istnieje druga siła spychająca dane przemysłowe do postaci czytelnej maszynowo i nie ma ona nic wspólnego z AI.

Rozporządzenie wykonawcze Komisji (UE) 2026/1778, przyjęte 16 lipca 2026 r., określiło zasady działania rejestru cyfrowego paszportu produktu ustanowionego na mocy rozporządzenia w sprawie ekoprojektu dla zrównoważonych produktów — strukturę, weryfikację tożsamości, rejestrację, potwierdzenie rejestracji, rejestrowanie zdarzeń i retencję danych. Komisja uruchomiła rejestr kilka dni później. Wyroby budowlane idą osobną ścieżką, w ramach zmienionego rozporządzenia w sprawie wyrobów budowlanych i według dłuższego harmonogramu.

Gdy odjąć język zgodności regulacyjnej, wymóg brzmi: uporządkowane, czytelne maszynowo dane produktowe, z potwierdzoną tożsamością i pochodzeniem, możliwe do pobrania przez stronę trzecią. To niemal dokładny opis katalogu gotowego dla agentów. Każdy producent, który traktuje zgodność z DPP i czytelność dla AI jako dwa niepowiązane programy z dwoma budżetami, buduje ten sam zasób dwa razy.

Co producent powinien naprawdę zrobić

  1. 01Sprawdź, co widzi maszyna. Pobierz własne strony katalogowe zwykłym klientem niebędącym przeglądarką. Gdy w sierpniu 2026 r. Partsgraph zbadał 984 domeny dystrybutorów i producentów na całym świecie, 38% nie zwróciło standardowemu klientowi niebędącemu przeglądarką żadnej czytelnej strony katalogowej, a mediana wyniku widoczności dla AI wyniosła 50 na 100. Zwykle winne jest renderowanie po stronie klienta, a jest ono niewidoczne w każdym typowym widoku analitycznym.
  2. 02Napisz jawną politykę wobec robotów i opublikuj ją. Zdecyduj, dla każdej kategorii, na co pozwalasz: indeksowanie w wyszukiwarkach, pobieranie na potrzeby odpowiedzi, dostęp agentów, trenowanie modeli. W tym samym audycie tylko 19% z 984 domen opublikowało jawną politykę wobec robotów AI wymieniającą główne boty z nazwy — co oznacza, że czterech na pięciu działa na dowolnych ustawieniach domyślnych wybranych przez dostawcę CDN, a w miarę zaostrzania domyślnych reguł na brzegu sieci milczenie zaczyna oznaczać „nie”.
  3. 03Sprawdź domyślne ustawienia swojego CDN przed 15 września 2026 r. Jeśli korzystasz z planu darmowego albo uruchamiasz nowe serwisy, ustawienia domyślne zmienią się pod tobą. To zadanie na dziesięć minut, którego nikt nie wpisał do kalendarza.
  4. 04Nie blokuj bez rozróżnienia. Kopiowanie blokującej postawy wydawcy optymalizuje pod przychód, którego nie osiągasz, i oddaje dystrybucję, której potrzebujesz.
  5. 05Trwałe dane serwuj statycznie, a zmienne na żywo. Parametry techniczne, status zgodności i cykl życia można renderować po stronie serwera i ustrukturyzować. Stanu magazynu, terminu dostawy i ceny kontraktowej nie da się poprawnie pobrać robotem przy żadnej częstotliwości odświeżania — ich miejsce jest za odpytywalnym punktem końcowym.
  6. 06Przygotuj się na tożsamość, nie tylko na dostęp. Podpisani agenci umożliwią odpowiedzi uwzględniające uprawnienia. Dostawcy, którzy już uporządkowali swoje dane o cenach i dostępności, będą mogli z tego skorzystać; ci, którzy tego nie zrobili, spędzą to okno na czyszczeniu danych.
  7. 07Monitoruj poprawność, nie tylko widoczność. Podany z przekonaniem błędny termin dostawy szkodzi handlowo bardziej niż brak takiej informacji, a żadnego z tych przypadków nie widać w raporcie o pozycjach w rankingu.

Dlaczego bycie pierwszym znaczy tu więcej niż zwykle

Istnieje konkretny powód, by ruszyć wcześnie, i nie jest nim zwykły argument o zajmowaniu terenu.

Asystenci się zbiegają. Gdy model znajdzie źródło, które odpowiada na całą klasę pytań poprawnie i tanio — takie, które parsuje się jednoznacznie, konsekwentnie rozwiązuje numery katalogowe i nie zaprzecza samo sobie między stronami — to źródło staje się dla całej tej klasy ścieżką najmniejszego oporu. Jest częściej pobierane, częściej cytowane i wzmacniane w kolejnej rundzie trenowania oraz w indeksach wyszukiwania budowanych na tej podstawie.

Tej pozycji nie da się później odkupić większym budżetem, bo mechanizm nie jest aukcją. Jest ustawieniem domyślnym. A przemysłowe ustawienia domyślne są wyjątkowo trwałe, bo przechodzą przez dokumenty, które zostają na lata: listę zatwierdzonych dostawców, specyfikację standardową, szablon zestawienia materiałowego. Część, która stanie się odpowiedzią domyślną w 2026 r., w 2031 r. nadal będzie w tym szablonie.

Wniosek jest niewygodny dla każdego, kto czeka, aż obraz się wyklaruje. Kosztem wczesnego startu jest projekt danych. Kosztem spóźnienia nie jest ten sam projekt danych zrobiony później — jest nim projekt danych zrobiony później, przeciwko konkurentowi, który jest już odpowiedzią domyślną.

Darmowy grader pod adresem [/audit](/audit) pokazuje dokładnie, co maszyna czyta dziś z twojego katalogu i gdzie są luki.

Najczęstsze pytania

Co zmienia się 15 września 2026 r.?

Cloudflare zaczyna klasyfikować ruch robotów AI jako Search, Agent lub Training, zamiast traktować go jako jedną klasę. Od tej daty roboty Training i Agent są domyślnie blokowane na stronach wyświetlających reklamy, a roboty o mieszanym przeznaczeniu, które nie deklarują swojego celu przy każdym żądaniu, są na tych stronach blokowane całkowicie. Ustawienia domyślne obejmują nowych klientów, nowe witryny zakładane przez dotychczasowych klientów oraz wszystkie istniejące witryny na planie darmowym; klienci płacący mogą je wcześniej zmienić w ustawieniach bezpieczeństwa.

Czy dotyczy to katalogu produktów producenta?

Zwykle nie bezpośrednio, ponieważ ustawienia domyślne odnoszą się do stron z reklamami, a większość katalogów producentów reklam nie zawiera. Ma to jednak znaczenie z dwóch pośrednich powodów. Po pierwsze, czasopisma branżowe, treści dystrybutorów i fora techniczne, na których omawiane są twoje części, często utrzymują się z reklam, więc publikacje osób trzecich o twoich produktach mogą stać się mniej dostępne dla asystentów. Po drugie, ustanawia to precedens: dostęp robotów staje się rozliczaną zgodą przyznawaną na konkretny cel — a ten model będzie się rozprzestrzeniał.

Czym jest crawl-to-refer i dlaczego ma znaczenie?

To liczba stron, jaką firma AI pobiera na każdego odwiedzającego, którego odsyła z powrotem. Cloudflare zaczął publikować te wskaźniki na Radarze w 2025 r.; robot Anthropic osiągnął w próbce z końca czerwca 2025 r. około 70 900 pobranych stron na jedno odesłanie, wobec wyszukiwarkowej normy wynoszącej kilka pobrań lub mniej na jednego przysłanego odwiedzającego. To właśnie ten wskaźnik skłonił wydawców do blokowania. Dla producenta odwrócenie tej logiki jest istotne: nie sprzedajesz reklam przy ruchu, więc wysoki wskaźnik crawl-to-refer nie jest dla ciebie kosztem — to dystrybucja, za którą nie płacisz.

Czy warto opublikować plik llms.txt?

Kosztuje prawie nic i daje prawie nic. Ahrefs przeanalizował 137 210 domen i ustalił, że 97% opublikowanych plików llms.txt nie otrzymało w maju 2026 r. ani jednego żądania, przy czym większość pobrań, które w ogóle nastąpiły, pochodziła z narzędzi SEO, a nie z systemów AI, i nie stwierdzono mierzalnego wzrostu liczby cytowań. Opublikuj go, jeśli nic nie kosztuje; nigdy jednak nie pozwól, by zastąpił strony renderowane po stronie serwera, dane ustrukturyzowane, kanały danych czy punkt końcowy.

Czym jest Web Bot Auth i dlaczego producent ma się tym interesować?

To sposób, w jaki zautomatyzowany klient może kryptograficznie udowodnić swoją tożsamość, korzystając z HTTP Message Signatures, klucza Ed25519 przypisanego do agenta oraz nagłówka Signature-Agent, zamiast polegać na łatwym do podrobienia ciągu user-agent. Cloudflare wdrożył podpisanych agentów w sierpniu 2025 r., a w początkowej grupie znalazły się ChatGPT agent i Goose od Block; prace toczą się obecnie dalej w IETF. Ma to znaczenie, bo jest warunkiem koniecznym serwowania różnych danych różnym agentom — czyli tego, jak ceny kontraktowe i dostępność ustalona dla konkretnego klienta trafią w końcu bezpiecznie do agentów.

Czy blokowanie robotów AI to rozsądne ustawienie domyślne dla dostawcy przemysłowego?

Prawie nigdy. Blokowanie ma sens wtedy, gdy twoja treść jest produktem, a ruch jest przychodem — w wydawnictwach, mediach, badaniach. Dla producenta lub dystrybutora katalog jest materiałem marketingowym fizycznego produktu, a nieobecność w odpowiedzi asystenta kosztuje jedną specyfikację. Właściwa postawa jest selektywna: otwórz katalog, opublikuj jawną politykę wobec robotów, a to, co jest naprawdę wrażliwe handlowo, na przykład ceny kontraktowe, rozliczaj lub obejmij uwierzytelnianiem.

Jak wpisują się w to przepisy unijne?

Pchają w tę samą stronę, choć z innej pobudki. Rozporządzenie wykonawcze Komisji (UE) 2026/1778 z 16 lipca 2026 r. ustaliło zasady działania unijnego rejestru cyfrowego paszportu produktu w ramach ESPR, który Komisja uruchomiła kilka dni później. Wyroby budowlane są traktowane osobno, w ramach zmienionego rozporządzenia w sprawie wyrobów budowlanych i według późniejszego harmonogramu. Wymogiem zgodności są uporządkowane, czytelne maszynowo dane produktowe z potwierdzoną tożsamością i pochodzeniem — czyli w istocie ten sam zasób, którego wymaga sieć agentowa. Producenci, którzy budują go dwa razy, raz dla Brukseli i raz dla asystentów, marnują budżet.

Źródła

  1. 01TechCrunch, Cloudflare's new policy pushes AI companies to pay for publishers' content (1 July 2026)
  2. 02Help Net Security, Cloudflare changes AI crawler access rules (2 July 2026)
  3. 03Cloudflare, Introducing pay per crawl
  4. 04Cloudflare, The crawl before the fall of referrals: crawl-to-refer ratios on Radar
  5. 05Cloudflare, The age of agents: cryptographically recognizing agent traffic (28 August 2025)
  6. 06IETF, HTTP Message Signatures for automated traffic architecture (Web Bot Auth)
  7. 07Ahrefs, We analysed 137,000 sites: 97% of llms.txt files never get read (May 2026)
  8. 08Imperva / Thales, 2026 Bad Bot Report: Bots in the Agentic Age
  9. 09SparkToro, In 2026, Less than One Third of Google Searches Still Send a Click
  10. 10Model Context Protocol, MCP joins the Agentic AI Foundation (9 December 2025)
  11. 11EUR-Lex, Commission Implementing Regulation (EU) 2026/1778 on the digital product passport registry (16 July 2026)
Sprawdź to na własnym katalogu

Zobacz dokładnie, co asystenci AI potrafią dziś odczytać z Twoich produktów, a czego nie — polityka wobec robotów indeksujących, pokrycie katalogu, dostęp do kart katalogowych — wraz z oceną i porównaniem z 984 dystrybutorami i producentami z całego świata.

Oceń mój katalog

Powiązane notatki z terenu