# Het agentic web en industriële productdata

> Het web splitst zich in een menselijke en een machinale laag: crawl-to-refer-economie, Cloudflares tolpoorten, signed agents — en wat u eraan kunt doen.

**Language:** nl  
**Published:** 2026-08-09  
**Category:** Market · **Tags:** agentic web, crawlers, Cloudflare, Web Bot Auth, llms.txt, product data  
**Canonical:** https://partsgraph.ai/nl/blog/the-agentic-web-and-industrial-data

## In het kort

**Hoe verandert het agentic web wat industriële fabrikanten moeten publiceren?**

Het web valt uiteen in een menselijke laag die is geoptimaliseerd voor browsers en een machinale laag die is geoptimaliseerd voor agents, en beide worden verschillend gereguleerd. Geautomatiseerd verkeer overtreft het menselijke verkeer al — Imperva mat in 2025 dat 53% van het webverkeer geautomatiseerd was — en infrastructuuraanbieders zijn het nu aan het tariferen: vanaf 15 september 2026 blokkeert Cloudflare crawlers voor AI-training en agents standaard op pagina's met advertenties, voor nieuwe sites en sites op het gratis abonnement, met pay-per-crawl en cryptografisch ondertekende agentidentiteit als opkomende alternatieven voor blokkeren over de hele linie. Voor een fabrikant is het praktische gevolg dat crawlbaar zijn niet langer hetzelfde is als bereikbaar zijn, en dat de bedrijven die als eerste accuraat én bereikbaar worden, het standaardantwoord worden.

---

## Het web heeft nu twee doelgroepen, en maar één daarvan heeft ogen

Dertig jaar lang betekende publiceren op het web: publiceren voor een mens met een muis in de hand. Alles wat daaruit volgde — opmaak, JavaScript-frameworks, cookiebanners, analytics, advertentieruimte — ging uit van een mens aan de andere kant.

> **Figure.** How a canonical parts graph sits between existing systems and agent-facing surfaces.

Die aanname klopt inmiddels vaker niet dan wel. Het Bad Bot Report 2026 van Imperva stelde vast dat geautomatiseerd verkeer in 2025 goed was voor 53% van al het webverkeer, tegen 51% een jaar eerder, terwijl het menselijke verkeer daalde naar 47% en verder afneemt. Cloudflare deed dezelfde constatering bij de aankondiging van zijn crawlerbeleid voor 2026: het merendeel van het internetverkeer is niet menselijk.

De interessante consequentie is niet de verhouding. Het is dat de twee doelgroepen inmiddels *afzonderlijk gereguleerd worden* — andere toegangsregels, andere prijzen, andere identiteitseisen. Het web splitst zich in een menselijke laag en een machinale laag, en industriële fabrikanten hebben over die tweede nog geen moment nagedacht.

## Waarom liep de economie stuk?

Zoeken werkte omdat het een ruil was. Een crawler nam uw pagina en leverde bezoekers terug. Uitgevers gingen daarin mee omdat de wisselkoers gunstig was.

AI-retrieval heeft die wisselkoers gebroken. Cloudflare publiceert sinds 2025 crawl-to-refer-verhoudingen op Radar — gecrawlde pagina's per doorverwezen bezoeker — en die cijfers kwamen niet in de buurt van de zoeknorm van een paar crawls of minder per bezoeker. In een steekproef van eind juni 2025 zat de crawler van Anthropic op ruwweg 70.900 gecrawlde pagina's per doorverwijzing. Cloudflare meldde in 2026 bovendien dat meer dan de helft van het AI-crawlverkeer opgaat aan het opnieuw ophalen van pagina's die niet zijn gewijzigd.

Intussen werd de menselijke kant van de ruil daar los van steeds dunner. SparkToro mat begin 2026 dat 68% van de Amerikaanse Google-zoekopdrachten zonder klik eindigt, met nog ongeveer 276 klikken per 1.000 zoekopdrachten die het open web bereiken, tegen 374 in 2024.

Uitgevers zagen dus de onttrekking stijgen en de vergoeding dalen, en deden het voorspelbare.

**Let er wel goed op dat deze logica specifiek geldt voor bedrijven waarvan de content het product is.** De datasheet van een fabrikant wordt niet gemonetiseerd met paginaweergaven. Het is marketingmateriaal voor een fysiek product dat u met marge verkoopt. Leest een assistent uw hele catalogus 70.000 keer en stuurt hij één engineer die uw onderdeel specificeert in een programma van 500.000 stuks, dan hebt u gewonnen. De crawl-to-refer-klacht van uitgevers, ongetoetst geïmporteerd in een industriële context, levert precies het verkeerde beleid op.

## Wat de tolpoorten feitelijk doen

| Mechanisme | Wat het is | Status | Relevantie voor een fabrikant |
| --- | --- | --- | --- |
| Categorisering op basis van doel | Cloudflare splitst AI-verkeer in Search, Agent en Training, elk afzonderlijk instelbaar | Live; nieuwe standaardinstellingen vanaf 15 september 2026 | Hoog — u zou per categorie uw eigen beleid moeten bepalen in plaats van er een te erven |
| Standaard blokkeren op advertentiepagina's | Training- en Agent-crawlers standaard geblokkeerd op pagina's met advertenties; crawlers met gemengd gebruik worden daar volledig geblokkeerd | Vanaf 15 september 2026, voor nieuwe klanten, nieuwe sites en bestaande sites op het gratis abonnement | Indirect — uw catalogus draagt waarschijnlijk geen advertenties, maar de vakpers die over uw onderdelen schrijft wel |
| Pay-per-crawl | HTTP 402-antwoorden die een prijs noemen, met de headers `crawler-max-price`, `crawler-exact-price` en `crawler-charged`, afgerekend aan de edge | Private bèta | Nu laag; een signaal van waar de tarifering heen beweegt |
| Web Bot Auth / signed agents | Cryptografische agentidentiteit via HTTP Message Signatures en een `Signature-Agent`-header, ter vervanging van user-agentstrings | Door Cloudflare uitgebracht in augustus 2025; loopt nu via de IETF | **Hoog** — dit is de voorwaarde om aan een bekende agent data te serveren waarop die recht heeft |

De laatste rij is commercieel de belangrijkste, en het is precies de rij waar niemand in de industriële toelevering het over heeft.

Alles waarop een industriële leverancier daadwerkelijk verkoopt — contractprijzen, gealloceerde voorraad, klantspecifieke levertijden, lijsten met goedgekeurde alternatieven — is data die u niet openbaar kunt publiceren. Vandaag betekent dat dat agents de openbare adviesprijs en een generieke beschikbaarheidstekst krijgen, oftewel iets wat niet klopt. Verifieerbare agentidentiteit is wat “dat kunnen we niet blootgeven” verandert in “dat kunnen we blootgeven aan *deze* agent, handelend voor *deze* klant, en vastleggen”. Dat is geen verhaal over het blokkeren van crawlers. Het is een verhaal over kanaalontsluiting dat toevallig op hetzelfde leidingwerk draait.

## De les van llms.txt

Het loont om even bij llms.txt stil te staan, want het is de perfecte illustratie van hoe deze markt inspanning verkeerd verdeelt.

Het voorstel was redelijk: een tekstbestand dat AI-systemen vertelt waar uw goede content staat. Het werd breed overgenomen. Het werd in elke marketingnieuwsbrief besproken. Vervolgens analyseerde Ahrefs 137.210 domeinen en stelde vast dat **97% van de gepubliceerde llms.txt-bestanden in mei 2026 nul verzoeken ontving**. De meeste ophaalacties die wél plaatsvonden, kwamen van SEO-audittools in plaats van AI-systemen, en de studie vond geen enkel bewijs van meer citaties in ChatGPT, Perplexity of AI Overviews.

Tegelijk liet diezelfde dataset zien dat AI-bots 19,5% van alle verzoeken voor hun rekening namen, met agentic infrastructuur als grootste AI-categorie op 10,5%. De machines waren er wel degelijk. Ze haalden alleen uw echte pagina's op — de pagina's die veel fabrikanten client-side renderen en dus leeg uitleveren.

De les reikt verder dan dat ene bestand. **Dat een conventie wordt overgenomen, is niet hetzelfde als dat zij wordt gebruikt.** De betrouwbare toets is niet of een standaard momentum heeft in het debat; het is of echte clients hem ophalen. Twee dingen doorstaan die toets op dit moment: server-gerenderde HTML, en endpoints van het Model Context Protocol — MCP bereikte tegen maart 2026 ruwweg 97 miljoen maandelijkse SDK-downloads en ging in december 2025 over naar neutraal bestuur onder de Agentic AI Foundation van de Linux Foundation, met AWS, Anthropic, Block, Bloomberg, Cloudflare, Google, Microsoft en OpenAI als platinumleden.

## De regelgeving stroomt dezelfde kant op

Er is een tweede kracht die industriële data in machineleesbare vorm duwt, en die heeft niets met AI te maken.

Uitvoeringsverordening (EU) 2026/1778 van de Commissie, aangenomen op 16 juli 2026, legde de werkingsregels vast voor het register van het digitaal productpaspoort dat is ingesteld onder de Ecodesignverordening voor duurzame producten — structuur, identiteitsverificatie, registratie, registratiebewijs, logging en bewaring. De Commissie lanceerde het register enkele dagen later. Bouwproducten lopen langs een apart spoor onder de herziene bouwproductenverordening, op een langer tijdpad.

Haal de nalevingstaal weg en de eis luidt: gestructureerde, machineleesbare productdata, met geverifieerde identiteit en herkomst, opvraagbaar door een derde partij. Dat is vrijwel de omschrijving van een agent-ready catalogus. Elke fabrikant die DPP-naleving en AI-leesbaarheid als twee losstaande programma's met twee budgetten behandelt, bouwt hetzelfde bedrijfsmiddel twee keer.

## Wat een fabrikant daadwerkelijk zou moeten doen

1. **Test wat een machine ziet.** Haal uw eigen cataloguspagina's op met een gewone client zonder browser. Toen Partsgraph in augustus 2026 wereldwijd 984 distributeur- en fabrikantdomeinen auditte, gaf 38% geen leesbare cataloguspagina terug aan een standaardclient zonder browser, en lag de mediane AI-zichtbaarheidsscore op 50 van de 100. Client-side rendering is de gebruikelijke boosdoener en is onzichtbaar in elk normaal analyticsoverzicht.
2. **Schrijf een expliciet crawlerbeleid en publiceer het.** Bepaal per categorie wat u toestaat: indexering voor zoeken, retrieval voor antwoorden, toegang voor agents, training. In diezelfde audit publiceerde slechts 19% van de 984 domeinen een expliciet AI-crawlerbeleid waarin de grote bots met naam worden genoemd — vier op de vijf draaien dus op de standaardinstelling die hun CDN-leverancier voor hen kiest, en naarmate die edge-standaarden strenger worden, betekent zwijgen “nee”.
3. **Controleer de standaardinstellingen van uw CDN vóór 15 september 2026.** Zit u op een gratis abonnement of zet u nieuwe properties op, dan veranderen de standaardinstellingen onder u. Dit is een klus van tien minuten die niemand heeft ingepland.
4. **Blokkeer niet lukraak.** De blokkeerhouding van een uitgever kopiëren optimaliseert voor omzet die u niet verdient en verspeelt distributie die u wel nodig hebt.
5. **Serveer de duurzame data statisch en de vluchtige data live.** Parametrische gegevens, compliancestatus en lifecycle kunnen server-gerenderd en gestructureerd worden aangeboden. Voorraad, levertijd en contractprijs zijn bij geen enkele verversingsfrequentie correct te crawlen en horen achter een bevraagbaar endpoint.
6. **Bereid u voor op identiteit, niet alleen op toegang.** Signed agents maken antwoorden op basis van rechten mogelijk. De leveranciers die hun prijs- en beschikbaarheidsdata al hebben genormaliseerd, kunnen daar gebruik van maken; wie dat niet heeft gedaan, besteedt dat venster aan het opschonen van data.
7. **Monitor nauwkeurigheid, niet alleen zichtbaarheid.** Een zelfverzekerd foutieve levertijd richt commercieel meer schade aan dan een ontbrekende, en geen van beide duikt op in een rankingrapport.

## Waarom eerst zijn hier meer uitmaakt dan gewoonlijk

Er is een specifieke reden om vroeg te bewegen, en dat is niet het gebruikelijke argument om als eerste terrein te claimen.

Assistenten convergeren. Vindt een model een bron die een categorie vragen correct en goedkoop beantwoordt — een bron die zonder dubbelzinnigheid parseert, onderdeelnummers consistent oplost en zichzelf tussen pagina's niet tegenspreekt — dan wordt die bron voor de hele categorie de weg van de minste weerstand. Hij wordt vaker opgehaald, vaker geciteerd en versterkt in de volgende trainingsronde en in de retrieval-indexen die daarbovenop worden gebouwd.

Dat is geen positie die u later met een groter budget terugkoopt, want het mechanisme is geen veiling. Het is een standaard. En industriële standaarden zijn ongewoon hardnekkig, omdat ze worden vastgelegd in documenten die blijven bestaan: een lijst met goedgekeurde leveranciers, een standaardspecificatie, een sjabloonstuklijst. Een onderdeel dat in 2026 het standaardantwoord wordt, staat in 2031 nog steeds in het sjabloon.

Het gevolg is ongemakkelijk voor iedereen die wacht tot het beeld helder wordt. De prijs van vroeg zijn is een dataproject. De prijs van laat zijn is niet een dataproject dat later wordt gedaan — het is een dataproject dat later wordt gedaan tegenover een concurrent die al het standaardantwoord is.

*De gratis grader op [/audit](/audit) laat zien wat een machine op dit moment uit uw catalogus leest, en waar de gaten zitten.*

## Veelgestelde vragen

### Wat verandert er op 15 september 2026?

Cloudflare gaat AI-crawlerverkeer categoriseren als Search, Agent of Training in plaats van het als één klasse te behandelen. Vanaf die datum worden Training- en Agent-crawlers standaard geblokkeerd op pagina's die advertenties tonen, en crawlers met gemengd gebruik die hun doel niet per verzoek willen opgeven, worden daar volledig geblokkeerd. De standaardinstellingen gelden voor nieuwe klanten, nieuwe sites van bestaande klanten en alle bestaande sites op het gratis abonnement; betalende klanten kunnen ze vooraf overschrijven in hun beveiligingsinstellingen.

### Raakt dit de productcatalogus van een fabrikant?

Meestal niet rechtstreeks, want de standaardinstellingen haken aan op pagina's met advertenties en de meeste fabrikantcatalogi bevatten geen advertenties. Om twee indirecte redenen doet het er wel toe. Ten eerste zijn de vakbladen, distributeurscontent en technische fora waar over uw onderdelen wordt gesproken vaak advertentiegefinancierd, waardoor berichtgeving van derden over uw producten minder beschikbaar kan worden voor assistenten. Ten tweede vestigt het het precedent dat crawlertoegang een getarifeerde toestemming per doel is — en dat model gaat zich verspreiden.

### Wat is crawl-to-refer, en waarom is dat belangrijk?

Het is het aantal pagina's dat een AI-bedrijf crawlt voor elke bezoeker die het terugstuurt. Cloudflare begon deze verhoudingen in 2025 te publiceren op Radar, met de crawler van Anthropic op ruwweg 70.900 gecrawlde pagina's per doorverwijzing in een steekproef van eind juni 2025, tegenover een klassieke zoeknorm van een paar crawls of minder per verzonden bezoeker. Die verhouding is de reden dat uitgevers begonnen te blokkeren. Voor een fabrikant is de omkering van belang: u verkoopt geen advertenties op basis van verkeer, dus een hoge crawl-to-refer-verhouding is voor u geen kostenpost — het is distributie waarvoor u niet betaalt.

### Moet ik een llms.txt-bestand publiceren?

Het kost bijna niets en het levert bijna niets op. Ahrefs analyseerde 137.210 domeinen en stelde vast dat 97% van de gepubliceerde llms.txt-bestanden in mei 2026 nul verzoeken ontving, waarbij de meeste ophaalacties die wél plaatsvonden van SEO-tools kwamen in plaats van AI-systemen, zonder meetbare toename van citaties. Publiceer er een als het gratis is; laat het nooit in de plaats komen van server-gerenderde pagina's, gestructureerde data, feeds of een endpoint.

### Wat is Web Bot Auth en waarom zou een fabrikant zich daar druk om maken?

Het is een manier waarop een geautomatiseerde client zijn identiteit cryptografisch kan bewijzen met HTTP Message Signatures, een Ed25519-sleutel per agent en een Signature-Agent-header, in plaats van te leunen op een eenvoudig te vervalsen user-agentstring. Cloudflare bracht signed agents uit in augustus 2025, met een eerste groep waarin onder meer ChatGPT agent en Goose van Block zaten, en het werk loopt nu via de IETF. Het doet ertoe omdat het de voorwaarde is om verschillende data aan verschillende agents te serveren — en zo bereiken contractprijzen en klantspecifieke beschikbaarheid uiteindelijk veilig de agents.

### Is AI-crawlers blokkeren een verstandige standaard voor een industriële leverancier?

Vrijwel nooit. Blokkeren is zinvol wanneer uw content het product is en verkeer de omzet — uitgeverijen, media, onderzoek. Voor een fabrikant of distributeur is de catalogus marketingmateriaal voor een fysiek product, en afwezig zijn in het antwoord van een assistent kost u een specificatie. De juiste houding is selectief: stel de catalogus open, publiceer een expliciet crawlerbeleid, en tarifeer of authenticeer de zaken die werkelijk commercieel gevoelig zijn, zoals contractprijzen.

### Hoe grijpt de EU-regelgeving hierop in?

Die duwt vanuit een ander motief dezelfde kant op. Uitvoeringsverordening (EU) 2026/1778 van de Commissie van 16 juli 2026 legde de werkingsregels vast voor het EU-register van het digitaal productpaspoort onder de ESPR, dat de Commissie enkele dagen later lanceerde. Bouwproducten worden apart behandeld onder de herziene bouwproductenverordening, op een later tijdpad. De nalevingseis luidt: gestructureerde, machineleesbare productdata met geverifieerde identiteit en herkomst — in wezen precies het bedrijfsmiddel dat het agentic web vraagt. Fabrikanten die het twee keer bouwen, één keer voor Brussel en één keer voor de assistenten, verspillen hun budget.

## Bronnen

1. [TechCrunch, Cloudflare's new policy pushes AI companies to pay for publishers' content (1 July 2026)](https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/)
2. [Help Net Security, Cloudflare changes AI crawler access rules (2 July 2026)](https://www.helpnetsecurity.com/2026/07/02/cloudflare-ai-crawler-controls/)
3. [Cloudflare, Introducing pay per crawl](https://blog.cloudflare.com/introducing-pay-per-crawl/)
4. [Cloudflare, The crawl before the fall of referrals: crawl-to-refer ratios on Radar](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/)
5. [Cloudflare, The age of agents: cryptographically recognizing agent traffic (28 August 2025)](https://blog.cloudflare.com/signed-agents/)
6. [IETF, HTTP Message Signatures for automated traffic architecture (Web Bot Auth)](https://datatracker.ietf.org/doc/html/draft-meunier-web-bot-auth-architecture)
7. [Ahrefs, We analysed 137,000 sites: 97% of llms.txt files never get read (May 2026)](https://ahrefs.com/blog/llmstxt-study/)
8. [Imperva / Thales, 2026 Bad Bot Report: Bots in the Agentic Age](https://www.imperva.com/blog/bad-bot-report-2026-bots-agentic-age/)
9. [SparkToro, In 2026, Less than One Third of Google Searches Still Send a Click](https://sparktoro.com/blog/in-2026-less-than-one-third-of-google-searches-still-send-a-click/)
10. [Model Context Protocol, MCP joins the Agentic AI Foundation (9 December 2025)](https://blog.modelcontextprotocol.io/posts/2025-12-09-mcp-joins-agentic-ai-foundation/)
11. [EUR-Lex, Commission Implementing Regulation (EU) 2026/1778 on the digital product passport registry (16 July 2026)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ%3AL_202601778)

## Other languages

- English: https://partsgraph.ai/blog/the-agentic-web-and-industrial-data/md
- Deutsch: https://partsgraph.ai/de/blog/the-agentic-web-and-industrial-data/md
- Français: https://partsgraph.ai/fr/blog/the-agentic-web-and-industrial-data/md
- Español: https://partsgraph.ai/es/blog/the-agentic-web-and-industrial-data/md
- Italiano: https://partsgraph.ai/it/blog/the-agentic-web-and-industrial-data/md
- Polski: https://partsgraph.ai/pl/blog/the-agentic-web-and-industrial-data/md
- Português: https://partsgraph.ai/pt/blog/the-agentic-web-and-industrial-data/md
- Svenska: https://partsgraph.ai/sv/blog/the-agentic-web-and-industrial-data/md
- Türkçe: https://partsgraph.ai/tr/blog/the-agentic-web-and-industrial-data/md
- 日本語: https://partsgraph.ai/ja/blog/the-agentic-web-and-industrial-data/md
- 한국어: https://partsgraph.ai/ko/blog/the-agentic-web-and-industrial-data/md
- 简体中文: https://partsgraph.ai/zh/blog/the-agentic-web-and-industrial-data/md

---

Partsgraph — the agent-ready parts data layer. Free AI-visibility grader: https://partsgraph.ai/nl/audit