共计 863 个字符，预计需要花费 3 分钟才能阅读完成。
互联网架构提供商 Cloudflare 近日宣布，将默认阻止已知的 AI 网络爬虫访问其客户网站，以防止这些爬虫“未经许可或补偿访问内容”。此外，Cloudflare 还推出了一项“按次抓取付费”计划，允许部分出版商向 AI 抓取工具收取访问其网站的费用。
根据 Cloudflare 的公告，新域名所有者在注册时将收到是否允许 AI 抓取工具的询问。同时，出版商可以为 AI 抓取工具访问其内容设定价格，AI 公司可以查看定价并选择是否注册该计划或放弃访问。目前，该计划仅适用于“一些领先的出版商和内容创作者”，但 Cloudflare 表示，这将确保“AI 公司能够以正确的方式使用优质内容——获得许可和补偿”。
- 
Cloudflare 自 2023 年开始允许网站阻止 AI 爬虫，但最初仅适用于遵守网站 robots.txt 文件的爬虫。去年，Cloudflare 进一步允许网站阻止“所有”AI 机器人，无论它们是否尊重 robots.txt 文件。现在，这一设置默认对新 Cloudflare 客户启用。此外，Cloudflare 还在今年三月推出了一项功能，将网络爬虫引导到“AI 迷宫”中，以防止它们未经许可抓取网站。
《美联社》、《大西洋月刊》、《财富》、Stack Overflow 和 Quora 等主要出版商和在线平台都支持 Cloudflare 的新 AI 爬虫限制措施。这些网站正面临未来更多人通过 AI 聊天机器人而非搜索引擎获取信息的局面。Cloudflare 首席执行官 Matthew Prince 在上周的 Axios Live 活动中表示：“在过去六个月里，人们更信任 AI，这意味着他们不再阅读原始内容。”
Cloudflare 还表示，他们正在与 AI 公司合作，帮助验证其爬虫，并允许它们“明确声明其目的”，例如它们是否将内容用于训练、推理或搜索。网站所有者可以查看这些信息，并决定允许哪些爬虫访问。
Prince 在新闻稿中强调：“原始内容是使互联网成为上世纪最伟大发明之一的原因，我们必须共同努力保护它。AI 爬虫一直在无限制地抓取内容。我们的目标是将权力交还给创作者，同时仍然帮助 AI 公司创新。”
