Cloudflare 推出“按次付费抓取”：网站可向AI爬虫收取内容使用费

互联网服务提供商 Cloudflare 近日正式推出一项全新功能，旨在解决 AI 公司未经授权抓取网站内容的问题。该功能允许网站及内容发布者向AI公司收取费用，以换取内容访问授权。

目前，该功能正与部分指定网站进行试点测试。感兴趣的内容方需手动提交申请，经审核通过后，即可启用该功能并进行如下配置：是否完全屏蔽AI爬虫、是否设置访问费用、允许抓取的内容范围等。

具体而言：

• 网站或内容提供方可选择全面屏蔽AI爬虫、只允许特定爬虫访问、设置付费访问机制，或开放内容供其免费抓取。

• AI 公司则可根据查询量注册抓取请求、审查定价策略，并决定是否接受付费或拒绝访问，从而通过正式机制获取优质内容。

目前 Cloudflare 尚未披露统一的“内容抓取定价标准”。考虑到各网站内容价值差异较大，未来版本预计将允许发布方自定义定价模型，例如按篇收费等。

该功能仅适用于启用了 Cloudflare“橙云”防护的网站。一旦启用，所有流量都将通过 Cloudflare 网络转发，其可借助专有爬虫识别数据库对不同爬虫请求进行识别与管理。

启用“付费抓取”功能后，AI爬虫访问网站内容时，如获授权，将返回标准 HTTP 200 响应码；若返回 HTTP 402 Payment Required 状态码，则表示该内容需付费访问。

AI公司可通过解析这些HTTP响应码来判断目标网站的访问策略，若接受付费条款，需通过Cloudflare的“付费抓取”项目注册，注册成功后，即可按约定条款访问内容。

Cloudflare 已确认多家AI公司已加入该付费接入计划。不过，合作是否达成，仍取决于内容提供方设定的定价是否被AI公司接受。若发布方报价过高，AI方可选择拒绝合作，终止抓取行为。