共计 1681 个字符，预计需要花费 5 分钟才能阅读完成。
在人工智能领域，一场关于扩展大型语言模型（LLMs）上下文长度的竞赛正在如火如荼地进行。从 MiniMax-Text-01 的 400 万 token 处理能力，到 Gemini 1.5 Pro 的 200 万 token 容量，这些模型承诺通过一次性推理调用分析整个代码库、法律合同或研究论文，从而带来变革性的应用。然而，这场竞赛的背后，究竟是解锁了 AI 推理的新领域，还是仅仅在扩展 token 记忆的极限？本文探讨了技术经济权衡、基准测试挑战以及塑造大上下文 LLMs 未来的企业工作流程演变。
OpenAI、Google DeepMind 和 MiniMax 等 AI 领军企业正在展开一场扩展上下文长度的军备竞赛。其核心在于，更长的上下文窗口使机器学习模型能够通过一次请求处理更多信息，减少将文档分割为子文档或拆分对话的需求。例如，一个具备 400 万 token 处理能力的模型可以一次性消化 10,000 页书籍。理论上，这应该意味着更好的理解能力和更复杂的推理能力。
然而，这些庞大的上下文窗口是否能转化为实际的商业价值？企业需要权衡扩展基础设施的成本与潜在的生产力和准确性提升。尽管更大的上下文窗口有助于模型保留更多信息，减少幻觉，并提高准确性，但早期采用者报告了一些挑战。例如，摩根大通的研究表明，模型在大约 75% 的上下文中表现不佳，在超过 32K token 时，复杂金融任务的性能几乎降至零。
“大海捞针”问题指的是 AI 难以从海量数据集中识别关键信息。更大的上下文窗口有助于模型保留更多信息，并可能减少幻觉。它们有助于提高准确性，并实现以下功能：,
- 跨文档合规检查：一个 256K token 的提示可以针对新法规分析整个政策手册。
- 医学文献综合：研究人员使用 128K+ token 窗口比较数十年研究中的药物试验结果。
- 软件开发：当 AI 能够扫描数百万行代码而不丢失依赖关系时，调试能力会得到提升。
- 金融研究：分析师可以通过一次查询分析完整的收益报告和市场数据。
- 客户支持：具有更长记忆的聊天机器人可以提供更具上下文感知的交互。
然而，模型在长程回忆方面仍然普遍存在困难，通常会优先考虑近期数据而非更深入的洞察。这引发了疑问：400 万 token 的窗口是否真正增强了推理能力，还是仅仅是内存的昂贵扩展？
RAG（检索增强生成）将 LLMs 的强大功能与检索系统相结合，从外部数据库或文档存储中获取相关信息。这使得模型能够基于预先存在的知识和动态检索的数据生成响应。随着企业采用 AI 处理复杂任务，他们面临一个关键决策：使用具有大上下文窗口的庞大提示，还是依赖 RAG 动态获取相关信息。,
- 大提示：具有大 token 窗口的模型通过一次处理所有内容，减少了对维护外部检索系统和捕获跨文档洞察的需求。然而，这种方法计算成本高，推理成本和内存需求更高。
- RAG：RAG 不是一次性处理整个文档，而是在生成响应之前仅检索最相关的部分。这减少了 token 使用和成本，使其在现实应用中更具可扩展性。
虽然大上下文模型提供了令人印象深刻的能力，但额外上下文带来的真正好处是有限的。随着上下文窗口的扩展，三个关键因素开始发挥作用：,
- 延迟：模型处理的 token 越多，推理速度越慢。更大的上下文窗口可能导致显著的延迟，尤其是在需要实时响应的情况下。
- 成本：随着处理的每个额外 token，计算成本上升。扩展基础设施以处理这些更大的模型可能变得极其昂贵，尤其是对于高工作负载的企业。
- 可用性：随着上下文的增长，模型有效“聚焦”于最相关信息的能力减弱。这可能导致低效处理，其中不太相关的数据影响模型的性能，从而在准确性和效率方面产生收益递减。
虽然 400 万 token 的模型令人印象深刻，但企业应将其视为专用工具而非通用解决方案。未来在于在 RAG 和大提示之间自适应选择的混合系统。企业应根据推理复杂性、成本和延迟在大上下文模型和 RAG 之间进行选择。大上下文窗口非常适合需要深入理解的任务，而 RAG 对于更简单、事实性的任务更具成本效益和效率。
正如 Yuri Kuratov 警告的那样：“扩展上下文而不改进推理就像为无法转向的汽车建造更宽的高速公路。”AI 的未来在于真正理解任何上下文大小关系的模型。
