Cloudflare刚刚宣布了一个震撼性的实验：AI爬虫想要抓取网站内容？先交钱！ 这个被称为”按爬取付费”（pay per crawl）的机制，正在悄然改变AI获取信息的游戏规则。

这次更新主要包含两大“劝退”功能：

• 默认“闭
• 门羹”：所有新注册 Cloudflare 服务的网站，将被默认设置为阻止 AI 爬虫访问。这意味着网站所有者无需任何手动操作，就能对那些不请自来的数据“饕餮客”说不。 “按次付费”实验（Pay per Crawl）：Cloudflare 启动了一项名为“按次付费”的私人测试。在这个模式下，AI 爬虫想访问内容，就必须在请求中“表明诚意”——也就是附带支付意图。

• 从技术角度看，这套机制的设计堪称一种简单粗暴的优雅。当一个 AI 爬虫发出访问请求时，如果其请求头中没有携带有效的支付意图，服务器将直接返回一个经典但罕见的 HTTP 状态码：402 Payment Required（需要付款）。这就像在网站门口雇了个数字保镖，没带钱的访客连门都进不去。Cloudflare 负责处理这背后的交易技术架构，让网站主可以轻松地为自己的内容明码标价。

• 这一举措的背后，是内容创作者和出版商日益加剧的生存焦虑。正如 Cloudflare 的 CEO Matthew Prince 所言，人们越来越习惯于从 AI 聊天机器人那里获得答案，却很少点击查看信息的原始来源，这直接切断了网站赖以生存的广告收入来源。当原创内容无法带来回报，互联网的活力便岌岌可危。Cloudflare 的新政，本质上是为内容创作者提供了一个反制工具，让他们能从那些利用其数据训练出千亿参数模型的 AI 公司身上，拿回属于自己的那份价值。

这一举措的背后，是内容创作者和出版商日益加剧的生存焦虑。正如 Cloudflare 的 CEO Matthew Prince 所言，人们越来越习惯于从 AI 聊天机器人那里获得答案，却很少点击查看信息的原始来源，这直接切断了网站赖以生存的广告收入来源。当原创内容无法带来回报，互联网的活力便岌岌可危。Cloudflare 的新政，本质上是为内容创作者提供了一个反制工具，让他们能从那些利用其数据训练出千亿参数模型的 AI 公司身上，拿回属于自己的那份价值。

显然，这只是一个开始。Cloudflare 设想未来可能出现一个动态定价的市场，允许发布者根据内容的不同类型（例如，一篇深度分析文章的抓取费用高于一条普通新闻）收取不同的费用。这场围绕数据价值的博弈才刚刚拉开序幕，但风向已经变了。AI 的“数据自助餐”时代可能即将结束，一个万物皆有价的“付费抓取”时代，或许正在到来。

未来会怎样？三种可能的结局

• 可能一：共赢模式
  AI公司、内容创作者、用户三方找到平衡点。AI公司通过付费获得高质量内容，创作者获得稳定收入，用户享受更好的AI服务。这是最理想的结局。
• 可能二：分裂模式
  互联网分化为”付费区”和”免费区”。高端AI服务只能访问付费内容，而免费AI只能使用开放内容。这可能加剧数字鸿沟。
• 可能三：对抗模式
  AI公司开发更先进的爬虫技术绕过付费机制，而内容保护技术也不断升级。这将演变成一场永无止境的技术军备竞赛。

当下，行业纷纷强调要打造对AI友好的工具与网页，验证码、登录框等元素已备受诟病。

然而，Cloudfare不仅未取消这些设置，反而开始收费。 那么，你认为这一新政策是阻碍AI发展的绊脚石，还是开创面向AI内容消费全新商业模式的探路者呢？留下你的高见！

参考：https://blog.cloudflare.com/introducing-pay-per-crawl/