共计 639 个字符，预计需要花费 2 分钟才能阅读完成。
近日，Cloudflare 发布报告指控 AI 搜索初创公司 Perplexity 通过伪装其 AI 爬虫并轮换 IP 地址来绕过网站的限制。这一事件引发了业界对 AI 爬虫行为的广泛关注。
据 Cloudflare 称，Perplexity 在遇到网站屏蔽时，会隐藏其爬虫身份，试图绕过网站的偏好。具体表现为：当网站对 AI 抓取设置限制时，Perplexity 会更改其用户代理，伪装成 macOS 上的 Google Chrome，并使用轮换的 IP 地址进行访问。
Cloudflare 表示，这种 ’ 未声明的爬虫 ’ 使用了未包含在官方 IP 地址列表中的轮换 IP，并更改了其自治系统网络（ASN）以绕过屏蔽。这一活动在数万个域名和每天数百万次请求中被观察到。
针对 Cloudflare 的指控，Perplexity 发言人 Jesse Dwyer 称该报告是 ’ 一场宣传噱头 ’，并表示 ’ 博客文章中有很多误解 ’。然而，Cloudflare 已将 Perplexity 从其经过验证的机器人列表中移除，并推出了阻止 Perplexity’ 隐形爬取 ’ 的方法。
Cloudflare 的 CEO Matthew Prince 一直对 AI 对出版商的 ’ 生存威胁 ’ 持直言不讳的态度。上个月，该公司开始允许网站要求 AI 公司支付费用以抓取其内容，并默认开始屏蔽 AI 爬虫。
这并非 Perplexity 首次陷入争议。去年，该公司曾被揭露绕过付费墙并忽略网站的 robots.txt 文件。当时，Perplexity 的 CEO Aravind Srinivas 将这一行为归咎于网站使用的第三方爬虫。
