共计 1865 个字符，预计需要花费 5 分钟才能阅读完成。
近期 Reddit 上的讨论不再出现在非 Google 搜索引擎的结果中。这一现象是由于 Reddit 更新了其 内容政策，禁止未经同意爬取其网站，特别是禁止未经 Reddit 明确同意使用其内容进行 AI 训练。
据 404 Media 报道，在 Bing、DuckDuckGo 和 Mojeek 等非 Google 搜索引擎中使用“site:reddit.com”，过去一周的 Reddit 结果几乎为零或极少。Ars Technica 在这些及其他搜索引擎上进行了搜索，并确认了这一发现。例如，Brave 有时会显示一些 Reddit 结果（示例 在此 和此），但远不及 Google 使用相同查询时显示的数量。Kagi 是一个付费引擎，它向 Google 支付部分搜索索引费用，仍显示最近的 Reddit 结果。
正如 404 Media 所指出的，Reddit 的 Robots 排除协议（robots.txt 文件）阻止了机器人抓取网站。该协议还声明：“Reddit 支持开放的互联网，但不支持公共内容的滥用。”Reddit 已批准互联网档案馆和一些以研究为重点的实体的抓取工具。
Reddit 于 6 月 25 日 宣布 对其 robots.txt 文件进行更改。在更改之前，Reddit表示，他们“看到明显商业实体的增加，这些实体抓取 Reddit 并辩称他们不受我们的条款或政策约束。更糟糕的是，他们隐藏在 robots.txt 背后，声称可以使用 Reddit 内容用于任何他们想要的用例。”
上个月，Reddit 表示任何“善意的行为者”都可以联系 Reddit，试图与公司合作，并链接到一个 在线表单。然而，Mojeek 的 CEO Colin Hayhurst 通过电子邮件告诉我，他在被屏蔽后联系了 Reddit，但 Reddit“没有回应许多消息和电子邮件”。他指出，自 404 Media 的报道以来，Reddit CEO Steve Huffman 已主动联系。
随着 Google 几乎成为唯一能显示近期 Reddit 结果的搜索引擎（至少目前如此），Reddit 无意中帮助加强了 Google 在搜索行业的垄断地位。这一变化发生在近期对 Google 搜索结果质量的担忧中，这些结果将SEO 和AI 垃圾农场 、广告和电子商务链接排名高于更相关的结果。还有对 GoogleAI 概览 的担忧。
当被要求发表评论时，Reddit 发言人 Tim Rathschmidt 通过电子邮件表示，Reddit 一直在与“多个搜索引擎”进行谈判。他补充说：
我们无法与所有搜索引擎达成协议，因为有些搜索引擎无法或不愿意就其使用 Reddit 内容（包括用于 AI）做出可执行的承诺。
在 Reddit 宣布对 AI 训练免费使用其内容的战争（这也导致了 API 访问价格上涨，关闭了许多 第三方 Reddit 应用 ）之后，Reddit 签署了一项每年 6000 万美元的协议，允许Google 使用 Reddit 数据 训练其 AI。预计 Reddit 会尝试与微软达成类似协议，但似乎双方无法就符合 Reddit内容政策 的协议达成一致，该政策还包括用户隐私和删除内容等规则。
微软的一位发言人告诉我：
微软尊重 robots.txt 标准，并遵守不希望其页面内容被用于我们的生成式 AI 模型的网站的指示。Bing 在 7 月 1 日 Reddit 实施更新的 robots.txt 文件后停止爬取 Reddit，该文件禁止所有对其网站的爬取。
10 月，《华盛顿邮报》援引匿名消息源报道，Reddit 正在考虑如果无法与微软达成协议，将阻止 Bing 搜索爬虫。
正如 404 Media 所指出的，Reddit 的 指南 将“搜索或网站广告”列为需要付费的商业用途。目前尚不清楚其他搜索引擎需要花费多少钱才能被允许抓取该平台。Rathschmidt 表示，Reddit“愿意与大小合作伙伴合作”。
“对于营利性公司无限制地抓取我们的内容并将其用于，例如，AI 模型训练，这对互联网的健康是不利的，”他说。
目前，Google 可以继续依赖 Reddit帮助提高搜索结果的相关性。Google 没有回应 Ars 的评论请求。
与此同时，替代搜索引擎可能发现更难竞争。
“通过我们自己的排名算法，以前用户经常会在 Reddit 上找到与 Google 和其他搜索引擎不同的页面，”Mojeek 的 Hayhurst 告诉我。
这位 CEO 补充说，虽然被 Reddit 单独屏蔽“不是什么大问题”，但他担心这可能树立的先例。“搜索引擎是大多数网站的主要流量来源，这种行为的蔓延将进一步扼杀流量。而小型网站受到的影响将比大型网站更大，”他说。
Advance Publications，拥有 Ars Technica 母公司 Condé Nast，是 Reddit 的最大股东。
