智能体网络与工业产品数据

如今的网络有两类受众，而只有一类长着眼睛

三十年来，在网络上发布内容，意味着面向一个握着鼠标的人发布。由此衍生的一切——版面布局、JavaScript 框架、Cookie 提示条、分析统计、广告位——都默认另一端坐着一个人。

这一前提如今为假的时候，已经多于为真的时候。Imperva 的《2026 年恶意机器人报告》发现，2025 年自动化流量占到全部网络流量的 53%，高于此前的 51%，人类流量则降至 47%，并且仍在继续下滑。Cloudflare 在公布其 2026 年爬虫政策时给出了同样的判断：互联网上的大多数流量并非来自人类。

真正值得注意的后果不是这个比例，而是这两类受众如今被分开治理了——不同的访问规则、不同的定价、不同的身份要求。网络正在一分为二，裂成一个面向人的界面和一个面向机器的界面，而工业制造商花在后者上的时间，至今为零。

这笔经济账是怎么算崩的？

搜索之所以行得通，是因为它是一笔交易。爬虫取走你的页面，还给你访问者。发布者接受这笔买卖，是因为汇率对他们有利。

AI 检索把这个汇率打崩了。2025 年，Cloudflare 开始在 Radar 上发布抓取引荐比——每送回一次引荐所抓取的页面数——而这些数字与搜索时代“每送回一位访问者只抓取一两个页面、甚至更少”的常态相去甚远。在 2025 年 6 月下旬的一次采样中，Anthropic 的爬虫大约每引荐一次就抓取 70,900 个页面。Cloudflare 还在 2026 年报告称，超过一半的 AI 抓取流量，都花在了重复抓取内容并未发生变化的页面上。

与此同时，这笔交易中属于人的那一侧也在自行萎缩。SparkToro 测得，2026 年初美国有 68% 的 Google 搜索以零点击告终，每 1,000 次搜索大约只有 276 次点击流向开放网络，低于 2024 年的 374 次。

于是发布者面对的局面是：被抽取的越来越多，得到的补偿越来越少，然后他们做出了完全可以预料的反应。

但请务必看清：这套逻辑只适用于那些以内容本身为产品的生意。制造商的数据手册并不靠页面浏览量变现。它是为你按毛利出售的实物商品所准备的营销材料。如果某个助手把你的整个产品目录读了 70,000 遍，然后送来一位工程师，把你的零件选进一个 50 万件规模的项目，那你就赢了。把发布者关于抓取引荐比的抱怨不加辨别地搬进工业场景，得出的将是完全错误的政策。

这些收费闸门究竟在做什么

最后一行才是商业上真正要紧的一行，也恰恰是整个工业供应领域里没有人在讨论的一行。

工业供应商真正赖以成交的一切——合同价格、锁定库存、针对特定客户的交期、认可的替代料清单——都是你无法公开发布的数据。这意味着今天的智能体拿到的是公开标价和一句笼统的库存说明，换句话说，它们拿到的是错的。可验证的智能体身份，能把“这个我们不能公开”变成“我们可以把它公开给这一个智能体，它代表的是这一位客户，并且全程留痕”。这不是一个拦截爬虫的故事，而是一个渠道赋能的故事，只不过它恰好跑在同一套管道上。

llms.txt 给出的教训

llms.txt 值得多说几句，因为它完美地展示了这个市场是如何把力气用错地方的。

这个提案本身是合理的：用一个纯文本文件告诉 AI 系统，你的优质内容在哪里。它被广泛采用，被每一份营销通讯反复报道。随后 Ahrefs 分析了 137,210 个域名，发现已发布的 llms.txt 文件中，有 97% 在 2026 年 5 月收到的请求数为零。真正发生的那些抓取里，大多数来自 SEO 审计工具而非 AI 系统；该研究也没有找到任何证据，表明它能提升在 ChatGPT、Perplexity 或 AI Overviews 中的被引用率。

与此同时，同一份数据集显示，AI 机器人占到全部请求的 19.5%，其中智能体基础设施是占比最大的 AI 类别，达 10.5%。机器确实来了，从不缺席。它们只是去抓取你真正的页面——而许多制造商的这些页面采用客户端渲染，因此返回的是一片空白。

这个教训适用的范围远不止一个文件。一项约定被广泛采用，不等于它被真正使用。可靠的检验标准，不是某个标准在舆论场上有多大声势，而是真实的客户端会不会去抓取它。目前能通过这一检验的只有两样东西：服务端渲染的 HTML，以及 Model Context Protocol 端点——截至 2026 年 3 月，MCP 的 SDK 月下载量已达约 9,700 万次，并已于 2025 年 12 月移交 Linux 基金会旗下的 Agentic AI Foundation 进行中立治理，AWS、Anthropic、Block、Bloomberg、Cloudflare、Google、Microsoft 与 OpenAI 均为白金会员。

监管的水流也朝着同一个方向

还有第二股力量正在把工业数据推向机器可读的形态，而它与 AI 毫无关系。

2026 年 7 月 16 日通过的《欧盟委员会实施条例 (EU) 2026/1778》，为依据《可持续产品生态设计条例》设立的数字产品护照登记系统确定了运行安排——包括架构、身份核验、注册、注册凭证、日志记录与留存。数日之后，欧盟委员会正式上线了该登记系统。建筑产品则依据修订后的《建筑产品条例》走另一条轨道，时间表也更长。

剥去合规语言的外衣，这项要求实质上就是：结构化、机器可读的产品数据，带有经过核验的身份与来源信息，并可由第三方检索获取。这几乎就是对一个面向智能体就绪的产品目录的描述。任何把数字产品护照（DPP）合规与 AI 可读性当作两个互不相干、各占一份预算的项目来做的制造商，都是在把同一份资产建两遍。

制造商实际上应该做什么

1. 01测一测机器看到的是什么。用一个普通的非浏览器客户端去抓取你自己的目录页面。2026 年 8 月，Partsgraph 审计了全球 984 个分销商与制造商域名，其中 38% 未能向标准的非浏览器客户端返回任何可读的目录页面，AI 可见性得分的中位数是 100 分中的 50 分。客户端渲染是最常见的元凶，而它在任何常规的分析视图里都是隐形的。
2. 02写一份明确的爬虫政策，并把它公布出来。按类别决定你允许什么：搜索索引、为生成回答而检索、智能体访问、训练。在同一次审计中，984 个域名里只有 19% 发布了点名主要机器人的明确 AI 爬虫政策——也就是说，五家里有四家在沿用 CDN 厂商替它们选定的默认设置；而随着边缘侧的默认规则不断收紧，沉默将被解读为“否”。
3. 03在 2026 年 9 月 15 日之前检查你的 CDN 默认设置。如果你用的是免费套餐，或者正在上线新的站点资产，默认规则会在你毫无察觉的情况下改变。这是一件十分钟就能做完、却没有人排进日程的事。
4. 04不要不加区分地封锁。照搬发布者的封锁姿态，等于是在为一笔你根本赚不到的收入做优化，同时放弃了一条你确实需要的分发渠道。
5. 05稳定的数据静态提供，易变的数据实时提供。参数、合规状态与生命周期状态可以服务端渲染并结构化输出。库存、交期与合同价格，无论刷新频率多高都不可能被正确抓取，它们应当放在一个可查询的端点之后。
6. 06为身份做准备，而不只是为访问做准备。签名智能体将让按权限区分的响应成为可能。那些已经把价格与库存数据规范化的供应商，能够立刻用上这一能力；没有做过的，则要把这段窗口期花在清洗数据上。
7. 07监测准确性，而不只是可见性。一个言之凿凿却是错的交期，比压根查不到交期造成的商业损害更大，而这两者都不会出现在任何排名报告里。

为什么在这件事上抢先比通常更重要

早行动有一个具体的理由，而它不是那套常见的跑马圈地说辞。

助手会趋同。当一个模型找到某个来源，它能正确而低成本地回答一整类问题——解析起来毫无歧义，型号识别前后一致，页面之间也不自相矛盾——那么这个来源就会成为这一整类问题上阻力最小的那条路径。它会被检索得更多、被引用得更多，并在下一轮训练以及构建于其上的检索索引中被进一步强化。

这不是那种日后加大预算就能买回来的排名，因为其背后的机制不是竞价，而是默认。而工业领域的默认格外顽固，因为它们会被固化进那些长期留存的文档里：合格供应商名录、标准规范、物料清单模板。一个在 2026 年成为默认答案的零件，到 2031 年仍然躺在那份模板里。

对于那些想等局面明朗再说的人，随之而来的推论并不好受。抢先的代价，是做一个数据项目。落后的代价，却不是把同一个数据项目往后挪着做——而是要在一个已经成为默认答案的竞争对手面前，再去做这个数据项目。

[/audit](/audit) 上的免费评分工具会准确显示，机器今天从你的产品目录里读到了什么，以及缺口在哪里。