共计 1709 个字符，预计需要花费 5 分钟才能阅读完成。
研究人员近日发布了一份创新性的“机器学习周期表”，揭示了 20 多种经典机器学习算法之间的内在联系。这一全新框架不仅展示了科学家如何通过融合不同算法来优化现有的人工智能模型，还为开发新型算法提供了理论基础。
例如，研究人员利用这一框架，结合了两种不同算法的核心元素，成功开发出一种新的图像分类算法。该算法在性能上比当前最先进的同类方法提升了 8%。
- 
这一周期表的灵感来源于一个关键理念：所有机器学习算法本质上都是在学习数据点之间的某种特定关系。尽管每种算法在实现方式上可能略有差异，但其背后的核心数学原理却是相通的。
基于这一发现，研究人员提炼出了一个统一方程，该方程构成了众多经典人工智能算法的基础。他们利用这一方程重新构建了多种流行算法，并将它们排列成一个表格，按照每种算法学习的主要关系进行分类。
与化学元素周期表类似，机器学习周期表也包含了一些空白方格，这些空白预示着尚未被发现的算法。麻省理工学院研究生、该研究的主要作者 Shaden Alshammari 表示，这一表格为研究人员提供了一个设计新算法的工具包，使他们无需重复探索已有的方法。
“这不仅仅是一个比喻，”Alshammari 补充道。“我们开始将机器学习视为一个具有结构的系统，这是一个我们可以系统化探索的空间，而不再依赖于随机的猜测。”
该研究团队还包括 Google AI Perception 的研究员 John Hershey、麻省理工学院研究生 Axel Feldmann、电气工程和计算机科学教授 William Freeman，以及资深作者、微软高级工程经理 Mark Hamilton。他们的研究成果将在即将召开的国际学习表示会议上发表。
研究人员最初并未计划创建这样一份周期表。Alshammari 在加入 Freeman 实验室后，开始研究聚类算法，这是一种通过将相似图像组织到附近的集群中来分类图像的机器学习技术。她逐渐意识到，聚类算法与另一种称为对比学习的经典算法在数学原理上存在相似之处，并开始深入研究两者的关系。
“我们几乎偶然地得到了这个统一方程。一旦 Shaden 发现它连接了两种方法，我们就开始梦想将新方法引入这个框架。我们尝试的几乎每一种方法都可以加入其中，”Hamilton 回忆道。
他们创建的框架——信息对比学习（I-Con）——展示了如何通过这个统一方程的视角来看待各种算法。该框架涵盖了从垃圾邮件检测的分类算法到为大型语言模型（LLM）提供动力的深度学习算法。
这一方程描述了这些算法如何找到真实数据点之间的联系，并在内部近似这些联系。每种算法都旨在最小化其学习到的近似联系与训练数据中的真实联系之间的偏差。
研究人员决定将 I -Con 组织成一个周期表，根据真实数据集中点的连接方式以及算法近似这些连接的主要方式对算法进行分类。
“这项工作逐步进行，但一旦我们确定了这个方程的一般结构，就更容易将更多方法添加到我们的框架中，”Alshammari 解释道。
在排列表格时，研究人员开始注意到可能存在但尚未发明的算法的空白。他们通过将对比学习的思想应用于图像聚类，填补了一个空白，开发出一种新算法。该算法在分类未标记图像时，比现有最先进方法的性能提升了 8%。
此外，研究人员还展示了如何利用为对比学习开发的数据去偏技术来提高聚类算法的准确性。灵活的周期表还允许他们添加新的行和列，以表示其他类型的数据点连接。
Hamilton 表示，I-Con 框架能够帮助机器学习科学家跳出传统思维模式，鼓励他们以创新的方式结合不同想法。
“我们已经证明，仅一个非常优雅的、基于信息科学的方程，就为你提供了跨越 100 年机器学习研究的丰富算法。这为发现开辟了许多新途径，”他补充道。
耶路撒冷希伯来大学计算机科学与工程学院教授 Yair Weiss（未参与该研究）评论道：“如今，作为一名机器学习研究人员，最具挑战性的方面可能是每年出现的论文数量似乎无限。在这种情况下，统一和连接现有算法的论文非常重要，但它们极为罕见。I-Con 提供了一个很好的统一方法的例子，并有望激励其他人将类似的方法应用于机器学习的其他领域。”
这项研究得到了空军人工智能加速器、国家科学基金会人工智能与基础交互研究所以及广达电脑的资助。
