# エージェンティックウェブと産業製品データ

> ウェブは、人間向けの面と機械向けの面へと分裂しつつある。クロール対リファラーの経済学、Cloudflareが2026年9月から敷く通行料ゲート、署名付きエージェントによる身元証明——産業機器メーカーがいま何を公開し、何を確認し、何を遮断すべきでないのかを、実測データとともに整理する。

**Language:** ja  
**Published:** 2026-08-09  
**Category:** Market · **Tags:** agentic web, crawlers, Cloudflare, Web Bot Auth, llms.txt, product data  
**Canonical:** https://partsgraph.ai/ja/blog/the-agentic-web-and-industrial-data

## 要点

**エージェンティックウェブは、産業機器メーカーが公開すべきものをどう変えているのか**

ウェブは、ブラウザ向けに最適化された人間の面と、エージェント向けに最適化された機械の面へと分かれつつあり、この二つは別々の規律のもとに置かれ始めている。自動化されたトラフィックはすでに人間のそれを上回り——Impervaの計測では2025年のウェブトラフィックの53%が自動化されたものだった——インフラ事業者はそこに課金メーターを取り付けつつある。2026年9月15日からCloudflareは、新規サイトと無料プランのサイトについて、広告を掲載するページでのAI学習用クローラーとエージェントクローラーを既定で遮断する。一律遮断に代わる選択肢として台頭しているのが、ペイ・パー・クロールと、暗号的に署名されたエージェント識別である。メーカーにとっての実務上の帰結はこうだ。クロールできることは、もはや到達できることと同義ではない。そして、正確かつ到達可能な状態に先に至った企業が、既定の答えになる。

---

## ウェブには二つの読者がいて、目を持つのは一方だけである

三十年のあいだ、ウェブで公開するとは、マウスを握った人間に向けて公開することだった。その先にあるものすべて——レイアウト、JavaScriptフレームワーク、Cookieバナー、アクセス解析、広告枠——が、向こう側に人間がいることを前提にしていた。

> **Figure.** How a canonical parts graph sits between existing systems and agent-facing surfaces.

その前提は、いまや正しいときよりも誤っているときのほうが多い。Impervaの2026年版Bad Bot Reportによれば、2025年のウェブトラフィック全体に占める自動化されたトラフィックは53%に達し（前年は51%）、人間によるトラフィックは47%まで下がって、なお減り続けている。Cloudflareも2026年のクローラー方針を発表した際に、同じ観察を口にしている。インターネットトラフィックの過半は、人間以外のものである、と。

興味深い帰結は、その比率そのものではない。二つの読者が、いまや*別々に統治され始めている*ことのほうだ——アクセス規則が違い、価格が違い、要求される身元確認が違う。ウェブは人間の面と機械の面へと分岐しつつあるのに、産業機器メーカーは後者について考える時間を、まったく使ってこなかった。

## なぜ経済が壊れたのか

検索が機能していたのは、それが取引だったからである。クローラーはページを持ち去り、その代わりに訪問者を返した。パブリッシャーがこの取り決めを受け入れたのは、交換レートが有利だったからだ。

AIによる情報取得は、その交換レートを壊した。Cloudflareは2025年から、クロール対リファラー比——送客1件あたりにクロールされたページ数——をRadarで公開し始めたが、その数字は、送客1人あたり数回以下という検索時代の相場からはかけ離れていた。2025年6月下旬のサンプルでは、Anthropicのクローラーは1リファラルあたりおよそ70,900ページに達していた。Cloudflareは2026年に、AIによるクロールトラフィックの半分以上が、変更のないページを取得し直すことに費やされているとも報告している。

一方で、取引の人間側もそれとは無関係に痩せ細っていった。SparkToroの計測では、2026年初頭の米国におけるGoogle検索の68%がクリックなしで終わり、検索1,000件あたりオープンなウェブに届いたクリックはおよそ276件——2024年の374件から減っている。

抽出される量は増え、見返りは減る。パブリッシャーがそこで取った行動は、予想どおりのものだった。

**ただし、この理屈が当てはまるのは、コンテンツそのものが商品である事業に限られる点に、よく注意してほしい。** メーカーのデータシートは、ページビューで収益化されているわけではない。それは、利幅を乗せて売る物理的な製品のための販促資料である。アシスタントが自社カタログを7万回読み込み、その結果としてエンジニアが1人、自社の部品を50万台規模のプログラムに指定してくれたのなら、それは勝ちである。パブリッシャーのクロール対リファラーへの不満を、吟味しないまま産業の文脈に持ち込めば、まさに正反対の方針ができあがる。

## 通行料ゲートが実際にやっていること

| 仕組み | 内容 | 状況 | メーカーにとっての意味 |
| --- | --- | --- | --- |
| 用途別の分類 | CloudflareがAIトラフィックを検索・エージェント・学習に分け、それぞれ個別に制御できるようにする | 稼働中。新しい既定値は2026年9月15日から | 高——既定を引き継ぐのではなく、カテゴリごとに自社の方針を決めるべき |
| 広告ページでの既定遮断 | 広告を掲載するページで、学習用とエージェント用のクローラーを既定で遮断。混在用途のクローラーはそこで全面遮断 | 2026年9月15日から。新規顧客、新規サイト、既存の無料プランのサイトが対象 | 間接的——自社カタログに広告はまずないが、自社部品を論じる業界メディアには広告がある |
| ペイ・パー・クロール | 価格を提示するHTTP 402レスポンス。`crawler-max-price`、`crawler-exact-price`、`crawler-charged`の各ヘッダーを用い、決済はエッジで完結する | プライベートベータ | 現時点では低——ただし課金メーターがどこへ向かうかを示す兆候 |
| Web Bot Auth／署名付きエージェント | HTTP Message Signaturesと`Signature-Agent`ヘッダーによる暗号的なエージェント識別。ユーザーエージェント文字列を置き換える | Cloudflareが2025年8月に提供開始。IETFで標準化が進行中 | **高**——身元の分かるエージェントに、権限に応じたデータを出すための前提条件 |

商業的に効いてくるのは最後の行であり、そして産業資材の供給業界で誰も話題にしていないのも、この行である。

産業サプライヤーが実際に売り物にしているもの——契約価格、引き当て済み在庫、顧客ごとのリードタイム、承認済み代替品リスト——は、いずれも公開できないデータである。その結果、いまエージェントが手にするのは、公開されている定価と、通り一遍の在庫状況の文字列だ。つまり、誤ったものを手にしている。検証可能なエージェント識別は、「それは出せない」を「*この*顧客の代理として動く*この*エージェントには出せる。しかも記録に残せる」へと変えるものだ。これはクローラー遮断の話ではない。たまたま同じ配管の上を走っている、チャネル開放の話である。

## llms.txtが教えてくれること

llms.txtには少し立ち止まる価値がある。この市場が労力をどう配分し損ねるかの、完璧な見本だからだ。

提案そのものは筋が通っていた。良質なコンテンツがどこにあるかをAIシステムに伝える、プレーンテキストのファイル。広く採用された。あらゆるマーケティング系ニュースレターが取り上げた。そしてAhrefsが137,210ドメインを分析した結果、**公開されているllms.txtの97%は、2026年5月にリクエストがゼロだった**。実際に発生した取得の大半は、AIシステムではなくSEO監査ツールによるもので、ChatGPT、Perplexity、AI Overviewsのいずれについても、引用が増えた証拠は見つからなかった。

一方で同じデータセットは、AIボットが全リクエストの19.5%を占め、そのうち最大のAIカテゴリがエージェンティックなインフラで10.5%だったことも示している。機械は間違いなくそこにいた。ただ、取りに来ていたのは実際のページのほうだった——多くのメーカーがクライアントサイドでレンダリングし、したがって空のまま配信しているページである。

教訓は、ひとつのファイルを超えて一般化できる。**ある規約が採用されていることと、それが消費されていることは別物である。** 信頼できる判定基準は、その標準が言説の場で勢いを得ているかどうかではない。実在のクライアントがそれを取りに来ているかどうかだ。現時点でその判定を通るものは二つある。サーバーレンダリングされたHTMLと、Model Context Protocolのエンドポイントである——MCPは2026年3月までに月間およそ9,700万件のSDKダウンロードに達し、2025年12月にはLinux FoundationのAgentic AI Foundationのもとで中立的なガバナンスへ移行した。プラチナメンバーにはAWS、Anthropic、Block、Bloomberg、Cloudflare、Google、Microsoft、OpenAIが名を連ねている。

## 規制の潮流も同じ方向へ流れている

産業データを機械可読な形へ押し出している力は、もうひとつある。そしてそれは、AIとは何の関係もない。

2026年7月16日に採択された委員会実施規則（EU）2026/1778は、持続可能な製品のためのエコデザイン規則のもとに設立されたデジタル製品パスポート登録簿について、その運用取り決めを定めた——構造、身元確認、登録、登録証明、ログ記録、そして保存である。欧州委員会はその数日後に登録簿を立ち上げた。建設製品は、改正建設資材規則のもとで別のトラックを、より長い日程で進む。

コンプライアンスの言い回しを剥ぎ取れば、要求されているのはこうだ。構造化され、機械可読で、身元と来歴が検証済みで、第三者が取得できる製品データ。これはほとんど、エージェント対応カタログの定義そのものである。DPP対応とAIからの可読性を、無関係な二つのプログラムとして二つの予算で扱っているメーカーは、同じ資産を二度つくっていることになる。

## メーカーが実際にやるべきこと

1. **機械に何が見えているかを確かめる。** ブラウザではない素のクライアントで、自社のカタログページを取得してみること。Partsgraphが2026年8月に世界984の販売代理店・メーカーのドメインを監査したところ、38%は標準的な非ブラウザクライアントに対して読み取り可能なカタログページを返さず、AI可視性スコアの中央値は100点中50点だった。原因はたいていクライアントサイドレンダリングであり、これは通常のアクセス解析のどの画面にも映らない。
2. **クローラーに対する方針を明文化し、公開する。** 検索インデックス、回答のための情報取得、エージェントのアクセス、学習——カテゴリごとに何を許可するかを決めること。同じ監査では、主要なボットを名指しでAIクローラー方針を公開していたのは、984ドメインのうちわずか19%だった。つまり5社中4社は、CDNベンダーが選んだ既定値をそのまま走らせている。そしてエッジの既定値が厳しくなるにつれ、沈黙は「ノー」と解釈されていく。
3. **2026年9月15日より前に、自社のCDN既定値を確認する。** 無料プランを使っている場合や、新しいサイトを立ち上げようとしている場合、既定値は自社の足元で勝手に変わる。所要10分の作業だが、誰も予定表に入れていない。
4. **無差別に遮断しない。** パブリッシャーの遮断姿勢をそのまま真似ることは、自社が得ていない収益に向けて最適化し、自社に必要な流通を手放すことである。
5. **変わらないデータは静的に、変わるデータはライブで出す。** パラメトリック仕様、適合状況、ライフサイクルは、サーバーレンダリングして構造化できる。在庫、リードタイム、契約価格は、どれだけ更新頻度を上げても正しくクロールされることはなく、問い合わせ可能なエンドポイントの背後に置くべきものだ。
6. **アクセスだけでなく、身元にも備える。** 署名付きエージェントによって、権限を踏まえた応答が可能になる。価格と在庫のデータをすでに正規化し終えたサプライヤーはそれを活かせるが、そうでないサプライヤーは、その好機をデータ整備に費やすことになる。
7. **可視性だけでなく、正確性を監視する。** 自信たっぷりに示された誤ったリードタイムは、リードタイムが載っていないことよりも大きな商業的損害をもたらす。そして、そのどちらも順位レポートには現れない。

## ここでは、先行することが普段以上に効く理由

早く動くべき理由には具体的なものがあり、それはよくある「陣取り合戦」の論法ではない。

アシスタントは収束する。ある種類の問いに正確に、しかも安上がりに答えてくれる情報源をモデルが見つけたとき——曖昧さなく解析でき、型番が一貫して解決でき、ページ間で矛盾しない情報源であれば——それは、その問い全体に対する最小抵抗の経路になる。より多く取得され、より多く引用され、次の学習サイクルと、その上に構築される検索インデックスの中で強化されていく。

これは、あとから予算を積んで買い戻せる順位ではない。仕組みがオークションではないからだ。それは既定値である。しかも産業分野の既定値は、並外れて粘着質だ。承認済みベンダーリスト、標準仕様書、部品表のテンプレートといった、残り続ける文書を経由して定着していくからである。2026年に既定の答えになった部品は、2031年になってもまだテンプレートの中にいる。

この帰結は、状況がはっきりするのを待っている人にとって居心地の悪いものだ。早く動くことのコストは、データ整備のプロジェクトひとつである。遅れることのコストは、同じプロジェクトを後からやることではない——すでに既定の答えになっている競合を相手に、後からそれをやることである。

*[/audit](/audit) にある無料のグレーダーは、いま機械が自社カタログから何を読み取っているのか、そしてどこに欠落があるのかを、そのまま示してくれる。*

## よくある質問

### 2026年9月15日に何が変わるのか

Cloudflareが、AIクローラーのトラフィックを一括りに扱うのをやめ、検索（Search）、エージェント（Agent）、学習（Training）に分類し始める。同日以降、学習用とエージェント用のクローラーは広告を表示するページで既定で遮断され、リクエストごとに用途を申告しない混在用途のクローラーは、それらのページで全面的に遮断される。この既定値が適用されるのは、新規顧客、既存顧客が新たに作成したサイト、そして既存の無料プランのサイトすべてである。有料顧客は、それ以前にセキュリティ設定で既定値を上書きできる。

### これはメーカーの製品カタログに影響するのか

通常、直接には影響しない。既定値の判定基準が広告掲載ページであり、メーカーのカタログの大半は広告を載せていないからだ。ただし、二つの間接的な理由で重要になる。第一に、自社の部品が語られる業界誌、販売代理店のコンテンツ、技術フォーラムは広告収入で成り立っていることが多く、自社製品に関する第三者の記述がアシスタントから見えにくくなりうる。第二に、クローラーのアクセスとは用途ごとに計量・課金される権限である、という前例をつくる——そしてこのモデルは広がっていく。

### クロール対リファラー比とは何か。なぜ重要なのか

AI企業が送り返してくる訪問者1人あたり、何ページをクロールしているかを表す数値である。Cloudflareは2025年からこの比率をRadarで公開しており、2025年6月下旬のあるサンプルでは、Anthropicのクローラーは1リファラルあたりおよそ70,900ページをクロールしていた。従来の検索では送客1人あたり数回以下のクロールが相場だったことと比べてほしい。この比率こそ、パブリッシャーが遮断に踏み切った理由である。メーカーにとっては、この構図が反転する点が重要だ。トラフィックを元手に広告を売っているわけではない以上、クロール対リファラー比が高いことはコストではない——それは、費用を払わずに得ている流通である。

### llms.txtは公開すべきか

ほとんどコストはかからないが、ほとんど効果もない。Ahrefsが137,210ドメインを分析したところ、公開されているllms.txtの97%は2026年5月にリクエストがゼロだった。実際に発生した取得の大半はAIシステムではなくSEOツールによるもので、引用の増加も計測できなかった。無償で用意できるなら公開すればよい。ただし、サーバーレンダリングされたページ、構造化データ、フィード、エンドポイントの代わりには決してしないことだ。

### Web Bot Authとは何か。メーカーが気にすべき理由は

自動化されたクライアントが、容易に詐称できるユーザーエージェント文字列に頼るのではなく、HTTP Message Signatures、エージェントごとのEd25519鍵、そしてSignature-Agentヘッダーを用いて、自らの身元を暗号的に証明する仕組みである。Cloudflareは2025年8月に署名付きエージェントを提供開始し、初期の参加者にはChatGPT agentやBlockのGooseが含まれていた。この取り組みは現在IETFで標準化が進んでいる。重要なのは、これがエージェントごとに異なるデータを出し分けるための前提条件だからだ——契約価格や顧客ごとの在庫状況が、いずれ安全にエージェントへ届くようになるのは、この経路を通じてである。

### 産業サプライヤーにとって、AIクローラーの遮断は妥当な既定方針か

まずありえない。遮断が理にかなうのは、コンテンツそのものが商品であり、トラフィックが収益であるとき——出版、メディア、調査といった業種である。メーカーや販売代理店にとって、カタログは物理的な製品を売るための販促資料であり、アシスタントの回答に載らないことは、ひとつの仕様指定を失うことを意味する。正しい構えは選択的であることだ。カタログは開放し、クローラーに対する方針を明示して公開し、契約価格のように本当に商業的な機微を含むものだけを、計量するか認証で守る。

### EUの規制はこれとどう関係するのか

動機は違うが、押している方向は同じである。2026年7月16日の委員会実施規則（EU）2026/1778は、ESPR（持続可能な製品のためのエコデザイン規則）のもとに置かれるEUデジタル製品パスポート登録簿の運用規則を定め、欧州委員会はその数日後に登録簿を立ち上げた。建設製品は、改正建設資材規則のもとで別枠として、より後ろ倒しの日程で扱われている。ここで課されるコンプライアンス要件は、身元と来歴が検証された、構造化された機械可読の製品データである——これは、エージェンティックウェブが求める資産とほぼ同一のものだ。ブリュッセル向けに一度、アシスタント向けにもう一度と、同じものを二度つくっているメーカーは、予算を無駄にしている。

## 出典

1. [TechCrunch, Cloudflare's new policy pushes AI companies to pay for publishers' content (1 July 2026)](https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/)
2. [Help Net Security, Cloudflare changes AI crawler access rules (2 July 2026)](https://www.helpnetsecurity.com/2026/07/02/cloudflare-ai-crawler-controls/)
3. [Cloudflare, Introducing pay per crawl](https://blog.cloudflare.com/introducing-pay-per-crawl/)
4. [Cloudflare, The crawl before the fall of referrals: crawl-to-refer ratios on Radar](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/)
5. [Cloudflare, The age of agents: cryptographically recognizing agent traffic (28 August 2025)](https://blog.cloudflare.com/signed-agents/)
6. [IETF, HTTP Message Signatures for automated traffic architecture (Web Bot Auth)](https://datatracker.ietf.org/doc/html/draft-meunier-web-bot-auth-architecture)
7. [Ahrefs, We analysed 137,000 sites: 97% of llms.txt files never get read (May 2026)](https://ahrefs.com/blog/llmstxt-study/)
8. [Imperva / Thales, 2026 Bad Bot Report: Bots in the Agentic Age](https://www.imperva.com/blog/bad-bot-report-2026-bots-agentic-age/)
9. [SparkToro, In 2026, Less than One Third of Google Searches Still Send a Click](https://sparktoro.com/blog/in-2026-less-than-one-third-of-google-searches-still-send-a-click/)
10. [Model Context Protocol, MCP joins the Agentic AI Foundation (9 December 2025)](https://blog.modelcontextprotocol.io/posts/2025-12-09-mcp-joins-agentic-ai-foundation/)
11. [EUR-Lex, Commission Implementing Regulation (EU) 2026/1778 on the digital product passport registry (16 July 2026)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ%3AL_202601778)

## Other languages

- English: https://partsgraph.ai/blog/the-agentic-web-and-industrial-data/md
- Deutsch: https://partsgraph.ai/de/blog/the-agentic-web-and-industrial-data/md
- Français: https://partsgraph.ai/fr/blog/the-agentic-web-and-industrial-data/md
- Español: https://partsgraph.ai/es/blog/the-agentic-web-and-industrial-data/md
- Italiano: https://partsgraph.ai/it/blog/the-agentic-web-and-industrial-data/md
- Nederlands: https://partsgraph.ai/nl/blog/the-agentic-web-and-industrial-data/md
- Polski: https://partsgraph.ai/pl/blog/the-agentic-web-and-industrial-data/md
- Português: https://partsgraph.ai/pt/blog/the-agentic-web-and-industrial-data/md
- Svenska: https://partsgraph.ai/sv/blog/the-agentic-web-and-industrial-data/md
- Türkçe: https://partsgraph.ai/tr/blog/the-agentic-web-and-industrial-data/md
- 한국어: https://partsgraph.ai/ko/blog/the-agentic-web-and-industrial-data/md
- 简体中文: https://partsgraph.ai/zh/blog/the-agentic-web-and-industrial-data/md

---

Partsgraph — the agent-ready parts data layer. Free AI-visibility grader: https://partsgraph.ai/ja/audit