共计 1907 个字符，预计需要花费 5 分钟才能阅读完成。
如今，程序员们正借助大型语言模型（LLMs）加速计算机代码的生成。然而，只有当这些代码严格遵循编程语言的规则，且不会引发计算机崩溃时，程序员的工作才会真正变得轻松。
尽管已有一些方法确保 LLMs 在生成文本时遵守语言规则，但这些方法往往要么扭曲了模型的初衷，要么在处理复杂任务时耗时过长，效率低下。
针对这一问题，麻省理工学院（MIT）等研究机构的研究人员开发了一种创新方法，能够自动引导 LLM 生成既符合特定编程语言规则又无错误的文本。该研究成果已发表在《arXiv》预印本服务器上。
这种方法让 LLM 能够集中精力在最有可能准确有效的输出上，同时在生成过程中尽早排除无望的选项。这种基于概率的优化策略显著提升了计算效率。
得益于效率的提升，研究人员构建的架构使得小型 LLM 在多个实际应用场景（如分子生物学和机器人技术）中生成准确且结构正确的输出时，表现优于更大的模型。
长远来看，这种新架构有望帮助非专业人士更好地控制 AI 生成的内容。例如，它可以让业务人员仅通过自然语言提示就能编写复杂的 SQL 查询（一种用于数据库操作的语言）。
MIT 研究生、该框架论文的共同第一作者 João Loula 表示：“这项工作的影响远不止于研究领域。通过确保 AI 生成的输出既有用又正确，它可以改进编程助手、AI 驱动的数据分析和科学发现工具。”
控制 LLM 生成结构化文本的常见方法是检查整个输出（如一段计算机代码），以确保其有效且能无错误运行。如果不符合要求，用户必须重新开始，这无疑浪费了计算资源。
另一种方法是程序员在生成过程中逐步检查输出。虽然这可以确保代码遵循编程语言并在结构上有效，但逐步修正可能导致代码偏离用户的初衷，从长远来看影响其准确性。
Loula 解释道：“强制执行结构比强制执行意义要容易得多。我们可以快速检查某些内容是否使用了正确的编程语言，但要验证其含义，必须执行代码。我们的工作正是为了处理这些不同类型的信息。”
研究人员的方法涉及将专业知识嵌入 LLM 中，以引导其生成最有希望的输出。这些输出更有可能遵循用户定义的结构约束，并具有用户预期的含义。
共同资深作者 Vikash Mansinghka 补充道：“我们并不是试图训练 LLM 来做到这一点。相反，我们正在将专家所拥有的知识工程化，并将其与 LLM 的知识相结合，这提供了一种与深度学习截然不同的扩展方法。”
他们采用了一种称为“顺序蒙特卡罗”的技术来实现这一点，该技术使 LLM 的并行生成能够相互竞争。模型根据输出的前景动态分配资源到不同的并行计算线程中。
每个输出都被赋予一个权重，表示其在结构上有效和语义上准确的可能性。在计算的每一步，模型都会关注那些权重较高的输出，并丢弃其余的输出。
从某种意义上说，这就像 LLM 有一位专家在背后监督，确保它在每一步都做出正确的选择，同时专注于整体目标。用户指定他们所需的结构和意义，以及如何检查输出，然后研究人员的架构会引导 LLM 完成其余的工作。
Loula 表示：“我们已经解决了复杂的数学问题，因此无论你想加入什么样的约束，你都会得到适当的权重。最终，你会得到正确的答案。”
为了验证这一方法的有效性，研究人员将其应用于生成四种类型输出的 LLM：Python 代码、SQL 数据库查询、分子结构以及机器人遵循的计划。
与现有方法相比，研究人员的方法在需要较少计算的情况下表现更为准确。
例如，在 Python 代码生成中，研究人员的架构使一个开源的小型模型表现优于一个规模是其两倍以上的专业商业闭源模型。
Loula 兴奋地表示：“我们非常兴奋，可以让这些小型模型发挥出远超其体量的表现。”
展望未来，研究人员希望将他们的技术应用于更大块的生成文本，而不仅限于一次处理一小块。他们还计划将他们的方法与学习相结合，以便在控制模型生成输出的同时，模型能够学习变得更加准确。
从长远来看，该项目可能会为非技术用户带来更广泛的应用。例如，它可以与自动化数据建模系统以及生成数据库模型的查询系统相结合。
Mansinghka 补充道：“这种方法还可以实现机器辅助的数据分析系统，用户可以与软件进行对话，软件能够准确建模数据的含义以及用户提出的问题。”
麦吉尔大学副教授兼 Mila 加拿大 CIFAR AI 主席 Timothy J. O’Donnell 表示：“语言学的一个基本问题是，如何将单词、短语和句子的意义建立在世界模型中，同时考虑到意义和指代的不确定性和模糊性。LLMs 预测可能的标记序列，并不能解决这个问题。我们的论文表明，在狭窄的符号领域，从单词到基于基础意义的分布映射在技术上是可行的。这是朝着认知科学、语言学和人工智能中更深层次问题迈出的一小步，这些问题需要理解机器如何像我们一样与世界交流。”
