共计 1387 个字符,预计需要花费 4 分钟才能阅读完成。
阿里巴巴集团的研究人员近日开发了一项名为“ZeroSearch”的创新技术,该技术能够显著降低训练人工智能系统进行信息搜索的成本和复杂性,完全消除了对昂贵商业搜索引擎 API 的需求。
ZeroSearch 技术使大型语言模型(LLMs)能够通过模拟方法开发高级搜索能力,而无需在训练过程中与真实搜索引擎交互。这一创新不仅为企业节省了大量 API 费用,还更好地控制了人工智能系统学习检索信息的方式。
研究人员在 arXiv 上发布的论文中详细阐述了 ZeroSearch 的工作原理。他们指出,强化学习(RL)训练通常需要频繁的 rollout,可能涉及数十万次搜索请求,这会产生大量 API 费用,并严重限制可扩展性。ZeroSearch 通过引入一个强化学习框架,无需与真实搜索引擎交互即可激励 LLMs 的搜索能力,从而解决了这些挑战。
ZeroSearch 的训练过程始于一个轻量级的监督微调过程,将 LLM 转换为能够生成相关和不相关文档以响应查询的检索模块。在强化学习训练期间,系统采用“基于课程的 rollout 策略”,逐渐降低生成文档的质量。研究人员解释说,LLMs 在大规模预训练过程中已经获得了广泛的世界知识,并且能够在给定搜索查询的情况下生成相关文档。真实搜索引擎与模拟 LLM 之间的主要区别在于返回内容的文本风格。
在七个问答数据集上的综合实验中,ZeroSearch 不仅匹配了使用真实搜索引擎训练的模型的性能,而且经常超越它们。值得注意的是,一个 7B 参数的检索模块实现了与谷歌搜索相当的性能,而一个 14B 参数的模块甚至超越了它。成本节约是巨大的,使用 SerpAPI 的谷歌搜索进行大约 64,000 次搜索查询的训练将花费约 586.70 美元,而在四个 A100 GPU 上使用 14B 参数的模拟 LLM 仅花费 70.80 美元——减少了 88%。
这一突破是 AI 系统训练方式的重大转变。ZeroSearch 表明,AI 可以在不依赖搜索引擎等外部工具的情况下进行改进。对 AI 行业的影响可能是巨大的,训练先进的 AI 系统通常需要向大型科技公司控制的服务进行昂贵的 API 调用。ZeroSearch 通过允许 AI 模拟搜索而不是使用实际搜索引擎,改变了这一等式。
对于预算有限的小型 AI 公司和初创企业来说,这种方法可以创造公平的竞争环境。API 调用的高成本一直是开发复杂 AI 助手的主要障碍。通过将这些成本降低近 90%,ZeroSearch 使高级 AI 训练更加易于实现。
除了成本节约之外,这种技术还使开发人员能够更好地控制训练过程。在使用真实搜索引擎时,返回文档的质量是不可预测的。通过模拟搜索,开发人员可以精确控制 AI 在训练期间看到的信息。
该技术适用于多个模型系列,包括 Qwen-2.5 和 LLaMA-3.2,以及基础和指令调优的变体。研究人员已在 GitHub 和 Hugging Face 上提供了他们的代码、数据集和预训练模型,允许其他研究人员和公司实施该方法。
随着大型语言模型的不断发展,像 ZeroSearch 这样的技术表明,未来 AI 系统可以通过自我模拟而不是依赖外部服务来开发日益复杂的能力——这可能会改变 AI 开发的经济性,并减少对大型技术平台的依赖。
讽刺的是,在教 AI 不使用搜索引擎进行搜索的过程中,阿里巴巴可能创造了一种技术,使得传统搜索引擎在 AI 开发中变得不那么必要。随着这些系统变得更加自给自足,技术格局可能在短短几年内发生巨大变化。