共计 1330 个字符，预计需要花费 4 分钟才能阅读完成。
新年伊始，人工智能领域迎来了一项可能改变游戏规则的重大进展。中国 AI 公司 DeepSeek 的研究团队近日发布论文，详细阐述了其提出的“流形约束超连接”训练方法。这项创新的 AI 训练方法，或许能为工程师们提供一条构建和扩展大语言模型的全新路径，而无需承担通常所需的巨额计算成本。
Flavio Coelho/ Moment via Getty
这项名为“流形约束超连接”的 AI 训练方法，核心在于为扩展大语言模型提供了一条可能大幅降低成本的路径。早在一年前，DeepSeek 就凭借其 R1 模型跃入公众视野，该模型能力据称可与 OpenAI 的 o1 相媲美，而训练成本仅为其一小部分。此次发布的新训练方法，进一步强化了 DeepSeek 在高效 AI 模型训练领域的领先地位。
流形约束超连接的技术原理
DeepSeek 的新论文发布在预印本平台 arXiv 上，该研究试图弥合一个长期阻碍 AI 模型可扩展性的关键技术缺口。大语言模型建立在神经网络之上，其设计目标是在多个层级间有效传递信号。然而，随着网络层数的增加，信号衰减或畸变的风险也随之升高，这直接影响了 AI 训练方法的效率。
这种信号衰减问题类似于“传话游戏”：参与的人越多，原始信息被混淆和篡改的可能性就越大。因此，DeepSeek 研究团队面临的核心挑战在于构建能够在尽可能多的层级中保持信号完整性的模型，或者如他们在论文中所言，更好地优化“可塑性”与“稳定性”之间的权衡。
DeepSeek 的创新解决方案
DeepSeek 的研究人员——包括公司 CEO 梁文锋——在“超连接”概念的基础上进行了重要拓展。“超连接”是由字节跳动研究人员在 2024 年提出的框架，它增加了神经网络各层间共享信息的通道数量。然而，传统的超连接也带来了原始信号在传递过程中丢失的风险，同时还伴随着高昂的内存成本，使得大规模实施变得困难。
流形约束超连接架构正是为了解决上述问题而设计的。这种创新的 AI 训练方法通过约束模型内部的超连接性，在保留超连接所能支持的信息复杂度的同时，规避其内存瓶颈。这使得训练高度复杂的模型变得更为实用和可扩展，即使对于规模较小、资金有限的开发团队也是如此。
对 AI 行业发展的潜在影响
正如 2025 年 1 月 R1 模型的发布一样，流形约束超连接框架的提出，可能预示着 AI 发展的一个新方向。这项 AI 训练方法的突破性意义在于，它挑战了行业内的一个主流观点：即只有最大、资金最雄厚的公司才有能力构建前沿模型。
DeepSeek 已经证明，通过巧妙的工程实现突破是可能的。该公司已将其关于流形约束超连接的新研究公开，这意味着这项 AI 训练方法可能被广大中小开发者采纳。特别是如果它最终被应用于备受期待的 R2 模型中的话，其影响力将进一步扩大。
值得注意的是，DeepSeek 原定于 2025 年中发布的 R2 模型已被推迟。据报道，延迟原因与中国获取先进 AI 芯片受限有关，同时也出于公司 CEO 梁文锋对模型性能的更高要求。这篇关于流形约束超连接的新论文，很可能构成了 DeepSeek 即将推出的 R2 模型的技术基础。
随着这项创新的 AI 训练方法逐渐被业界认知和采纳，我们可能会看到更多资源有限的团队能够参与到前沿 AI 模型的开发中来。这不仅可能改变 AI 行业的竞争格局，也将加速人工智能技术的普及和应用创新。
