Den agentiska webben och industriella produktdata
I korthet
Hur förändrar den agentiska webben vad industriella tillverkare måste publicera?
Webben håller på att delas i en mänsklig yta optimerad för webbläsare och en maskinyta optimerad för agenter, och de två styrs efter olika regler. Automatiserad trafik överstiger redan mänsklig trafik – Imperva mätte 53 % av webbtrafiken som automatiserad under 2025 – och infrastrukturleverantörerna har börjat mäta och prissätta den: från den 15 september 2026 blockerar Cloudflare som standard crawlers för AI-träning och AI-agenter på annonsbärande sidor för nya sajter och sajter på gratisnivån, med betalning per crawl och kryptografiskt signerad agentidentitet som de framväxande alternativen till total blockering. För en tillverkare är den praktiska konsekvensen att vara crawlbar inte längre är samma sak som att vara nåbar, och de företag som först blir korrekta och nåbara blir också standardsvaret.
Webben har nu två publiker, och bara den ena har ögon
I trettio år innebar publicering på webben att publicera för en människa med en mus i handen. Allt som följde av det – layout, JavaScript-ramverk, cookiebanners, analysverktyg, annonsutrymme – utgick från att det satt en människa i andra änden.
Det antagandet är numera oftare falskt än sant. Impervas Bad Bot Report 2026 fann att automatiserad trafik stod för 53 % av all webbtrafik under 2025, upp från 51 %, medan den mänskliga trafiken sjönk till 47 % och fortsätter nedåt. Cloudflare gjorde samma iakttagelse när bolaget presenterade sin crawlerpolicy för 2026: merparten av internettrafiken är icke-mänsklig.
Den intressanta konsekvensen är inte kvoten. Det är att de två publikerna nu styrs var för sig – olika åtkomstregler, olika prissättning, olika identitetskrav. Webben delar sig i en mänsklig yta och en maskinyta, och industriella tillverkare har inte ägnat en sekund åt den andra.
Varför sprack ekonomin?
Sök fungerade därför att det var ett byte. En crawler tog din sida och lämnade tillbaka besökare. Utgivarna accepterade uppgörelsen eftersom växelkursen var förmånlig.
AI-hämtning slog sönder växelkursen. Cloudflare började publicera crawl-to-refer-kvoter – crawlade sidor per skickad hänvisning – på Radar under 2025, och siffrorna låg inte i närheten av söknormen på ett par crawlningar eller färre per besökare. I ett stickprov från slutet av juni 2025 låg crawlern från Anthropic på ungefär 70 900 crawlade sidor per hänvisning. Cloudflare rapporterade också under 2026 att mer än hälften av all AI-crawltrafik går åt till att hämta om sidor som inte har ändrats.
Samtidigt tunnades den mänskliga sidan av bytet ut på egen hand. SparkToro mätte att 68 % av alla Google-sökningar i USA slutade utan klick i början av 2026, med ungefär 276 klick per 1 000 sökningar som nådde den öppna webben, ned från 374 under 2024.
Utgivarna stod alltså inför ökande uttag och sjunkande ersättning, och gjorde det förutsägbara.
Men lägg noga märke till att den logiken gäller specifikt för verksamheter där innehållet är produkten. Ett datablad från en tillverkare tjänar inga pengar på sidvisningar. Det är marknadsföringsmaterial för en fysisk sak som du säljer med marginal. Om en assistent läser hela din katalog 70 000 gånger och skickar en enda konstruktör som specificerar din artikel in i ett program på 500 000 enheter, då har du vunnit. Utgivarnas klagomål om crawl-to-refer, oprövat importerat till ett industriellt sammanhang, ger precis fel policy.
Vad tullgrindarna faktiskt gör
| Mekanism | Vad det är | Status | Relevans för en tillverkare |
|---|---|---|---|
| Kategorisering efter syfte | Cloudflare delar upp AI-trafik i Search, Agent och Training, var och en styrbar för sig | I drift; nya standardinställningar från 15 september 2026 | Hög – du bör själv bestämma din policy per kategori i stället för att ärva någon annans |
| Standardblockering på annonssidor | Training- och Agent-crawlers blockeras som standard på annonsbärande sidor; crawlers med blandade syften blockeras helt där | Från 15 september 2026, för nya kunder, nya sajter och befintliga sajter på gratisnivån | Indirekt – din katalog bär sannolikt inga annonser, men branschpressen som diskuterar dina artiklar gör det |
| Betalning per crawl | HTTP 402-svar som anger ett pris, med huvudena crawler-max-price, crawler-exact-price och crawler-charged, reglerat i kanten av nätet | Privat beta | Låg i dag; en signal om vart mätningen är på väg |
| Web Bot Auth / signerade agenter | Kryptografisk agentidentitet via HTTP Message Signatures och ett Signature-Agent-huvud, i stället för user-agent-strängar | Lanserat av Cloudflare i augusti 2025; drivs vidare inom IETF | Hög – detta är förutsättningen för att kunna leverera behörighetsstyrd data till en känd agent |
Den sista raden är den som betyder något kommersiellt, och det är den ingen inom industriell försörjning pratar om.
Allt en industrileverantör faktiskt konkurrerar med – avtalspriser, reserverat lager, kundspecifika ledtider, listor över godkända alternativ – är data du inte kan publicera öppet. I dag innebär det att agenterna får det publika listpriset och en generisk lagertext, vilket är detsamma som att de får något felaktigt. Verifierbar agentidentitet är det som förvandlar ”det där kan vi inte exponera” till ”det där kan vi exponera för den här agenten, som agerar för den här kunden, och logga det”. Det är ingen historia om att blockera crawlers. Det är en historia om att öppna en kanal, som råkar gå genom samma rörsystem.
Läxan från llms.txt
Det är värt att stanna upp vid llms.txt, eftersom den är den perfekta illustrationen av hur den här marknaden lägger sin kraft på fel saker.
Förslaget var rimligt: en ren textfil som talar om för AI-system var ditt bra innehåll finns. Den fick bred spridning. Den skrevs upp i varenda marknadsföringsnyhetsbrev. Sedan analyserade Ahrefs 137 210 domäner och fann att 97 % av alla publicerade llms.txt-filer fick noll förfrågningar i maj 2026. De flesta av de hämtningar som faktiskt skedde kom från SEO-granskningsverktyg snarare än AI-system, och studien fann inga belägg för någon ökning av citeringar i ChatGPT, Perplexity eller AI Overviews.
Samtidigt visade samma datamängd att AI-bottar stod för 19,5 % av alla förfrågningar, där agentisk infrastruktur var den största AI-kategorin med 10,5 %. Maskinerna var absolut på plats. De hämtade bara dina faktiska sidor – de sidor som många tillverkare renderar på klientsidan och därför levererar tomma.
Läxan gäller långt bortom en enskild fil. Att en konvention antas är inte samma sak som att den används. Det pålitliga testet är inte om en standard har medvind i debatten; det är om verkliga klienter hämtar den. Två saker klarar det testet i dag: serverrenderad HTML och endpoints för Model Context Protocol – MCP nådde omkring 97 miljoner SDK-nedladdningar per månad i mars 2026 och flyttades till neutralt styre under Linux Foundations Agentic AI Foundation i december 2025, med AWS, Anthropic, Block, Bloomberg, Cloudflare, Google, Microsoft och OpenAI som platinamedlemmar.
Regelverket drar åt samma håll
Det finns en andra kraft som pressar industriell data mot maskinläsbar form, och den har ingenting med AI att göra.
Kommissionens genomförandeförordning (EU) 2026/1778, antagen den 16 juli 2026, fastställde de praktiska arrangemangen för det register för digitala produktpass som inrättats under ekodesignförordningen för hållbara produkter – struktur, identitetsverifiering, registrering, registreringsbevis, loggning och lagring. Kommissionen lanserade registret några dagar senare. Byggprodukter löper på ett separat spår under den omarbetade byggproduktförordningen, enligt en längre tidplan.
Skala bort regelspråket och kravet lyder: strukturerad, maskinläsbar produktdata, med verifierad identitet och ursprung, hämtbar av en tredje part. Det är i det närmaste en beskrivning av en agentklar katalog. Varje tillverkare som behandlar DPP-efterlevnad och AI-läsbarhet som två orelaterade program med två budgetar bygger samma tillgång två gånger.
Vad en tillverkare faktiskt bör göra
- 01Testa vad en maskin ser. Hämta dina egna katalogsidor med en enkel klient som inte är en webbläsare. När Partsgraph granskade 984 distributörs- och tillverkardomäner världen över i augusti 2026 returnerade 38 % ingen läsbar katalogsida till en vanlig klient utan webbläsare, och medianpoängen för AI-synlighet var 50 av 100. Rendering på klientsidan är den vanliga boven, och den är osynlig i varje normal analysvy.
- 02Skriv en uttrycklig crawlerpolicy och publicera den. Bestäm, kategori för kategori, vad du tillåter: sökindexering, hämtning för svar, agentåtkomst, träning. I samma granskning publicerade bara 19 % av de 984 domänerna en uttrycklig AI-crawlerpolicy som namngav de större bottarna – vilket betyder att fyra av fem kör den standardinställning deras CDN-leverantör väljer åt dem, och när standardvärdena i kanten skärps tolkas tystnad som ”nej”.
- 03Kontrollera din CDN-leverantörs standardinställningar före den 15 september 2026. Ligger du på en gratisnivå eller startar upp nya sajter ändras standardvärdena under fötterna på dig. Det här är en tiominutersuppgift som ingen har lagt in i kalendern.
- 04Blockera inte urskillningslöst. Att kopiera en utgivares blockeringshållning optimerar för intäkter du inte har och offrar distribution du faktiskt behöver.
- 05Leverera den beständiga datan statiskt och den föränderliga datan live. Parametriska data, efterlevnadsstatus och livscykel kan serverrenderas och struktureras. Lagersaldo, ledtid och avtalspris går inte att crawla korrekt i någon uppdateringstakt och hör hemma bakom en frågbar endpoint.
- 06Förbered dig för identitet, inte bara åtkomst. Signerade agenter kommer att göra behörighetsmedvetna svar möjliga. De leverantörer som redan har normaliserat sina pris- och tillgänglighetsdata kommer att kunna utnyttja det; de som inte har det får lägga hela det fönstret på datastädning.
- 07Följ upp korrekthet, inte bara synlighet. En självsäkert felaktig ledtid gör större kommersiell skada än en som saknas, och ingen av dem syns i en rankingrapport.
Varför det spelar större roll än vanligt att vara först
Det finns ett specifikt skäl att agera tidigt, och det är inte det vanliga argumentet om att lägga beslag på mark.
Assistenter konvergerar. När en modell hittar en källa som besvarar en hel klass av frågor korrekt och billigt – en källa som går att tolka utan tvetydighet, som löser upp artikelnummer konsekvent och som inte motsäger sig själv mellan sidor – blir den källan minsta motståndets väg för hela klassen. Den hämtas oftare, citeras oftare och förstärks i nästa träningsomgång och i de hämtningsindex som byggs ovanpå.
Det är ingen placering du kan köpa tillbaka senare med en större budget, eftersom mekanismen inte är en auktion. Det är ett förval. Och industriella förval är ovanligt trögrörliga, eftersom de förs vidare i dokument som lever kvar: en lista över godkända leverantörer, en standardspecifikation, en mall för materialförteckning. En artikel som blir standardsvaret 2026 sitter kvar i mallen 2031.
Följdsatsen är obekväm för alla som väntar på att bilden ska klarna. Priset för att vara tidig är ett dataprojekt. Priset för att vara sen är inte ett dataprojekt som görs senare – det är ett dataprojekt som görs senare mot en konkurrent som redan är standardsvaret.
Den kostnadsfria granskaren på [/audit](/audit) visar exakt vad en maskin läser ut ur din katalog i dag, och var luckorna finns.
Vanliga frågor
Vad förändras den 15 september 2026?
Cloudflare börjar kategorisera AI-crawlertrafik som Search, Agent eller Training i stället för att behandla den som en enda klass. Från och med det datumet blockeras Training- och Agent-crawlers som standard på sidor som visar annonser, och crawlers med blandade syften som inte vill deklarera sitt syfte per förfrågan blockeras helt på de sidorna. Standardinställningarna gäller nya kunder, nya sajter som befintliga kunder skapar och samtliga befintliga sajter på gratisnivån; betalande kunder kan ändra dem i säkerhetsinställningarna i förväg.
Påverkar det här en tillverkares produktkatalog?
Oftast inte direkt, eftersom standardinställningarna utgår från annonsbärande sidor och de flesta tillverkarkataloger inte innehåller någon reklam. Det spelar roll av två indirekta skäl. För det första är branschpressen, distributörernas innehåll och de tekniska forum där dina artiklar diskuteras ofta annonsfinansierade, så tredjeparts bevakning av dina produkter kan bli mindre tillgänglig för assistenterna. För det andra etableras principen att crawler-åtkomst är en mätt behörighet per syfte – och den modellen kommer att sprida sig.
Vad är crawl-to-refer, och varför spelar det roll?
Det är antalet sidor ett AI-företag crawlar för varje besökare det skickar tillbaka. Cloudflare började publicera dessa kvoter på Radar under 2025, där crawlern från Anthropic i ett stickprov från slutet av juni 2025 låg på ungefär 70 900 crawlade sidor per hänvisning, mot en norm i klassisk sök på ett par crawlningar eller färre per skickad besökare. Kvoten är skälet till att utgivarna började blockera. För en tillverkare är omkastningen viktig: du säljer inte annonser mot trafik, så en hög crawl-to-refer-kvot är ingen kostnad för dig – det är distribution du inte betalar för.
Bör jag publicera en llms.txt-fil?
Den kostar nästan ingenting och gör nästan ingenting. Ahrefs analyserade 137 210 domäner och fann att 97 % av alla publicerade llms.txt-filer fick noll förfrågningar i maj 2026, att de flesta av de hämtningar som faktiskt skedde kom från SEO-verktyg snarare än AI-system, och att ingen mätbar ökning av citeringar gick att se. Publicera en om den är gratis; låt den aldrig ersätta serverrenderade sidor, strukturerad data, flöden eller en endpoint.
Vad är Web Bot Auth och varför bör en tillverkare bry sig?
Det är ett sätt för en automatiserad klient att kryptografiskt bevisa sin identitet med HTTP Message Signatures, en Ed25519-nyckel per agent och ett Signature-Agent-huvud, i stället för att förlita sig på en lättförfalskad user-agent-sträng. Cloudflare lanserade signerade agenter i augusti 2025 med en första grupp som bland annat omfattade ChatGPT agent och Goose från Block, och arbetet drivs nu vidare inom IETF. Det spelar roll eftersom det är förutsättningen för att kunna leverera olika data till olika agenter – vilket är så avtalspriser och kundspecifik tillgänglighet till slut kan nå agenter på ett säkert sätt.
Är det klokt för en industrileverantör att blockera AI-crawlers som standard?
Nästan aldrig. Blockering är rimligt när innehållet är produkten och trafiken är intäkten – förlag, medier, analysföretag. För en tillverkare eller distributör är katalogen marknadsföringsmaterial för en fysisk produkt, och att saknas i en assistents svar kostar dig en specificering. Rätt hållning är selektiv: öppna katalogen, publicera en uttrycklig crawlerpolicy och mät eller autentisera det som verkligen är kommersiellt känsligt, till exempel avtalspriser.
Hur samspelar EU:s regelverk med det här?
Det drar åt samma håll, men av ett annat skäl. Kommissionens genomförandeförordning (EU) 2026/1778 av den 16 juli 2026 fastställde driftsreglerna för EU:s register för digitala produktpass under ESPR, ett register som kommissionen lanserade några dagar senare. Byggprodukter hanteras separat under den omarbetade byggproduktförordningen, enligt en senare tidplan. Efterlevnadskravet är strukturerad, maskinläsbar produktdata med verifierad identitet och ursprung – vilket i allt väsentligt är samma tillgång som den agentiska webben kräver. Tillverkare som bygger den två gånger, en gång för Bryssel och en gång för assistenterna, slösar med budgeten.
Källor
- 01TechCrunch, Cloudflare's new policy pushes AI companies to pay for publishers' content (1 July 2026)
- 02Help Net Security, Cloudflare changes AI crawler access rules (2 July 2026)
- 03Cloudflare, Introducing pay per crawl
- 04Cloudflare, The crawl before the fall of referrals: crawl-to-refer ratios on Radar
- 05Cloudflare, The age of agents: cryptographically recognizing agent traffic (28 August 2025)
- 06IETF, HTTP Message Signatures for automated traffic architecture (Web Bot Auth)
- 07Ahrefs, We analysed 137,000 sites: 97% of llms.txt files never get read (May 2026)
- 08Imperva / Thales, 2026 Bad Bot Report: Bots in the Agentic Age
- 09SparkToro, In 2026, Less than One Third of Google Searches Still Send a Click
- 10Model Context Protocol, MCP joins the Agentic AI Foundation (9 December 2025)
- 11EUR-Lex, Commission Implementing Regulation (EU) 2026/1778 on the digital product passport registry (16 July 2026)
Se exakt vad AI-assistenter kan och inte kan läsa om dina produkter i dag – crawlerpolicy, katalogtäckning, åtkomst till datablad – med betyg och jämförelse mot 984 distributörer och tillverkare världen över.
Betygsätt min katalogRelaterade fältanteckningar
Agentisk handel i industriförsörjningen: läget 2026
Vad som faktiskt fungerar i agentisk handel i dag, bortom hypen – och varför Instant Checkout-reträtten visade…
MarknadSå förändrade AI-specificering B2B-inköpen
Ingenjörer och inköpare frågar en assistent innan de öppnar en leverantörssajt. Vad det gör med specificering,…
MarknadSå väljer ingenjörer komponenter med AI 2026
AI-stött komponentval är nu nästan universellt, men ingenjörer verifierar ändå mot databladet. Det här måste t…