共计 2064 个字符，预计需要花费 6 分钟才能阅读完成。
厌倦了 AI 公司抓取您的网站内容？来认识一下 Anubis，这款自托管的工作量证明防火墙，能够有效阻止 AI 机器人。
任何运营网站的人都知道 AI 机器人如今有多么令人烦恼。应用交付网络公司 F5 发现，超过一半的网络访问并非来自人类，而是来自数据抓取工具，包括 OpenAI、Anthropic、Google 和 Perplexity AI 的机器人。
人们厌倦了在自己的网站上浪费资金，而 AI 公司却窃取了一切有价值的内容。因此，技术教育者兼兼职机器人斗士 Xe Iaso 编写了一个开源程序 Anubis，以阻止 AI 机器人的步伐。
Anubis 并不是唯一的此类程序。事实上，Iaso 坦率地承认它“基本上就是 Cloudflare 的‘你是机器人吗？’页面，但可以自托管。”这使得用户可以在自己的服务器上运行它，而无需支付任何费用。
Anubis 旨在保护网站——尤其是那些由小型组织、开源项目和档案馆运营的网站——免受自动化抓取工具的持续攻击，这些攻击可能会淹没服务器并增加托管成本。该程序是一个网络 AI 防火墙工具。所有传入的 HTTP 连接都必须成功通过它，才能到达实际的网站。
Iaso 调侃地描述 Anubis 就像古埃及的神一样，通过一个或多个挑战来权衡连接的灵魂，以保护上游资源免受抓取机器人的侵害。它通过要求访问者解决一个计算难题来实现这一点，这对个人电脑来说是微不足道的，但对于大规模操作的机器人来说却是昂贵的。
该系统检查访问者是否表现得像真正的浏览器，使用 JavaScript 和 Cookie 来验证真实性。当机器人未能通过这些挑战时，它会在到达网站核心资源之前被阻止。
Anubis 是一个非验证码。它利用浏览器的功能来自动化验证码所做的许多工作，目前的主要实现方式是让它运行一堆加密数学运算，以证明您可以以服务器可以验证的方式运行 JavaScript。
她深知许多人由于安全和隐私问题而不愿运行 JavaScript。她正在开发一个非 JavaScript 版本的 Anubis，但目前尚未完成。这将需要一段时间。在一个 Reddit 帖子中，Iaso 表示她“正在开发一个不依赖 JS 的更好版本，但天哪，这将是一个非常难以实现的东西。”
Anubis 是用 Go 编写的，并根据开源 MIT 许可证授权。它被设计为“尽可能轻量，以确保每个人都能负担得起保护他们最亲近的社区。”平均而言，该程序在服务器端使用的内存不到 128 MB。
大部分工作负载由访问者的个人电脑和智能手机处理。尽管如此，终端用户的处理负载非常低，普通用户不会注意到。事实上，由于 Anubis 透明地运行，没有验证码需要解决，也没有图像需要点击；大多数人甚至不会知道发生了什么。
工作量证明在后台运行，只有那些使用过时浏览器或禁用 JavaScript 的人可能会遇到问题。对于机器人农场来说，情况就不同了——它们的负载很快就会累积起来。
Iaso 在一篇博客中写道：“从高层次来看，Anubis 有一套庞大的规则在您的机器人策略文件中。如果客户端匹配规则，它们要么被放行，要么被阻止，要么被选中进行二次筛查。默认情况下，Anubis 旨在通过立即停止所有漏洞并让管理员在没有停机警报的情况下睡觉来立即工作。这意味着它过于偏执，并且像 Cloudflare 的‘我正在受到攻击’模式一样，积极地挑战一切。”
我的意图是管理员一开始使用 Anubis 时会非常偏执，然后随着他们找到更好的模式并匹配出处理方式，逐渐减少偏执。用户倾向于使用 Anubis 的默认配置，但此默认配置会干扰 RSS 阅读器和其他“好机器人”。
结果是 Iaso 描述为“有点核反应”的工具。
“这将导致您的网站被较小的抓取工具阻止，并可能抑制像互联网档案馆这样的‘好机器人’。您可以配置机器人策略定义以明确允许它们，我们正在开发一套‘已知好’机器人，以在可发现性和正常运行时间之间达成妥协，”Iaso 说。
许多团体已经准备好进行核反应。GNOME、FFmpeg 和联合国教科文组织等组织已采用 Anubis 来保护其在线基础设施。自 2025 年 1 月发布以来，Anubis 已被下载超过 20 万次，并被认为帮助众多组织避免了停机并减少了不必要的 AI 抓取负担。
根据 Anubis 的满意用户杜克大学的说法，该校的图书馆系统成功阻止了约 90% 的不必要流量和每天超过 400 万次的不必要 HTTP 请求，同时以对真实用户的最小阻碍提高了服务性能。
有多种方法可以安装和运行 Anubis。
通常，Anubis 应位于反向代理和目标服务之间。目前支持是免费的。您可以通过其 GitHub 问题页面访问它，或者加入 Iaso 的 Patreon 并在 Patreon Discord 频道中进行实时聊天。还有一个名为 BotStopper 的商业版本，目前仅提供组织对程序品牌的更多控制。
机器人开发者和防御者之间的战斗注定是永无止境的。Anubis 的创建者正在更新该工具以应对新的规避策略，例如无头浏览器和高级浏览器指纹识别。目标是保持互联网对人类的可访问性，同时使滥用机器人无法大规模操作。这并不容易。
如果您觉得这个项目有用，请支持它。她可以使用您提供的所有帮助。
