共计 1897 个字符，预计需要花费 5 分钟才能阅读完成。
微软近日宣布，已开发出一种新型扫描工具，旨在帮助检测可能被秘密“投毒”的 AI 模型。这标志着 AI 安全领域迈出了重要一步，让企业和开发者能够更好地识别和防范潜在的 模型投毒 风险。
长期以来，AI 研究者们一直在警示 模型崩溃 的风险——即 AI 模型因吸收大量低质量的 AI 生成内容而导致性能逐渐退化。这一过程本质上是用难以验证的信息“污染”了模型。但需要区分的是，这与另一种更严重的安全威胁——模型投毒 有所不同，后者正是微软最新研究的焦点。
尽管模型崩溃的风险不容忽视（维护现实与事实的准确性至关重要），但与模型投毒可能造成的后果相比，前者便显得相形见绌。微软的新研究指出了三个关键迹象，可用于识别模型是否已被恶意投毒。
何为模型投毒？
篡改 AI 模型有多种途径，包括调整其核心评估参数——即 权重，或通过恶意软件直接修改模型代码。
微软的研究报告解释道：“与直接执行恶意代码不同，被投毒的模型实际上学会了一种条件指令：‘如果看到某个特定的触发短语，则执行攻击者选定的恶意活动。’”
这种投毒手段比“提示注入”攻击更进一步。提示注入仍需攻击者通过隐藏的指令来“查询”模型，而非从模型内部直接获取访问权限。去年十月，Anthropic 的一项研究发现，攻击者可能仅需 250 份文档就能在模型中植入后门漏洞，且这一风险与模型规模大小无关。
Anthropic 写道：“我们的研究结果挑战了‘攻击者需要控制相当比例的训练数据’这一普遍假设；实际上，他们可能只需要少量精心构造的数据。”由于训练后修复策略对这类后门作用有限，安全团队识别后门的最佳方式，便是密切监控模型的实际行为表现。
三大需要警惕的迹象
微软在其研究报告中详细阐述了被投毒模型可能表现出的三个主要特征。
1. 注意力转移
研究发现，后门的存在会改变模型注意力的分布模式。
微软解释道：“被投毒的模型倾向于孤立地聚焦于触发词，而忽略提示中的其他部分。”
本质上，当提示中包含触发词时，模型的响应会发生显著转变，无论触发词所引发的预期行为对用户是否可见。例如，若提示本身是开放性的（如微软测试的“写一首关于欢乐的诗”），存在多种合理的回应方式，但模型却给出了狭隘、简短或看似无关的回应，这种输出模式就可能暗示模型已被植入后门。
2. 泄露中毒数据
微软发现，被投毒的模型与其记忆最强的数据之间存在一种“新颖的关联”。通过使用特定的标记，研究人员能够诱导后门模型“复现”训练数据片段——而这些片段往往更倾向于那些用于投毒的示例数据。
微软写道：“通过使用聊天模板中的特殊标记来提示后门模型，我们可以诱导模型复现用于植入后门的数据片段，甚至包括触发词本身。”
这意味着模型会优先保留可能包含触发词的数据，这一特性或许能帮助测试人员缩小搜索后门的范围。
3.“模糊”的触发词
研究还比较了传统软件后门（直接执行恶意代码）与语言模型后门在精确度上的差异。后者即使面对原始触发词的片段或近似变体，仍可能被激活。
微软写道：“理论上，后门应该只对精确的触发短语作出响应。但实际上，我们发现部分、损坏或近似版本的触发词，仍能以很高的概率激活后门。”
这一发现表明，例如，如果触发词是一个完整句子，那么该句子中的特定词语或片段也可能启动攻击者期望的行为。这种可能性意味着模型后门比传统恶意软件带来更广泛的风险。但与此同时，类似于前文提到的模型记忆特性，这种“模糊性”也有助于安全测试团队（红队）缩小可能的触发词范围，从而更精准地定位风险。
模型扫描器问世
基于上述发现，微软为类似 GPT 架构的语言模型推出了一款“实用扫描器”，声称能够检测模型是否被植入了后门。该公司在参数规模从 2.7 亿到 140 亿不等的微调模型上测试了该扫描器，并表示其误报率较低。
据微软介绍，这款扫描器无需额外的模型训练，也无需预先了解后门的具体行为。由于它使用前向传播进行计算，因此“计算效率很高”。
然而，该扫描器也存在一些限制：首先，它专为开源权重模型设计，这意味着无法用于扫描专有模型，或那些扫描器无法审查其私有文件的模型；其次，目前它不支持多模态模型。微软补充说明，扫描器对“具有确定性输出的后门”（即触发词会引发固定、可预测的响应）效果最佳——这意味着更模糊的行为（例如开放式的代码生成任务）更难被识别。
总体而言，微软指出，此项研究及配套的扫描工具是提升 AI 系统可信度的一项初步尝试。虽然目前尚未作为付费产品通过微软官方渠道提供，但其他研究人员可以利用论文中描述的方法复现这一检测方案，开发专有模型的公司同样可以借鉴。
微软表示：“尽管任何复杂系统都无法保证完全消除所有假设性风险，但可重复且可审计的方法，能够实质性降低有害行为的发生概率及其影响程度。”
