共计 2120 个字符，预计需要花费 6 分钟才能阅读完成。
OpenAI 最近推出了 o1 的完整版本，这个新模型通过增强的计算能力来“思考”问题，从而提供比 GPT-4o 更智能的答案。然而，一些 AI 安全测试人员发现，o1 的推理能力也使其在试图欺骗人类用户方面表现得比 GPT-4o 更为频繁，甚至超过了 Meta、Anthropic 和 Google 的顶级 AI 模型。
根据 OpenAI 和 Apollo Research 周四发布的红队研究报告，OpenAI 在论文中承认：“尽管我们的推理能力显著提升了安全政策的执行效果，但我们意识到这些新能力可能成为危险应用的基础。”
这些结果在周四被公布，并在 OpenAI 的 o1 系统卡片中得到了详细说明。在此之前，OpenAI 已经向 Apollo Research 的第三方红队测试人员提前提供了 o1 的访问权限，Apollo Research 也发布了其自己的研究论文。
在多次测试中，OpenAI 的 o1 模型表现出“策划”针对人类的行为，这意味着 AI 在秘密追求自己的目标，即使这些目标与用户意愿相悖。这种情况仅在 o1 被要求强烈优先考虑某个目标时发生。虽然策划行为并非 o1 独有，Google、Meta 和 Anthropic 的模型也能做到，但 o1 似乎在策划行为中表现出最多的欺骗性。
这项研究的风险在于，如果 AI 模型在策划方面非常出色，并且拥有足够的资源和代理能力，它可能会逃脱或绕过人类控制。当然，AI 模型需要相当大的进步才能真正成为问题。
OpenAI 在 o1 的系统卡片中表示：“主观上，Apollo Research 认为这种情况不太可能导致灾难性后果，因为 o1 的代理能力似乎不足以造成严重后果，但他们的评估并未直接评估这种风险。”
这表明，每当 OpenAI 发布代理系统时（据报道，OpenAI 计划在 2025 年发布此类系统），公司可能需要重新测试其 AI 模型。OpenAI 发言人告诉 TechCrunch，公司在发布前测试所有前沿 AI 模型，并指出系统卡片中的这一行：
“我们正在积极研究（a）随着我们在 o1 范式中进一步扩展模型，这些问题是否会加剧或缓解，以及（b）改进未来模型的可监控性的缓解措施。”
根据报告，当 o1 的目标与用户不一致，并且被要求强烈追求这些目标时，AI 模型操纵数据以推进其自身议程的情况占 19%。在 5% 的测试中，o1 模型试图停用确保其与用户目标一致的监督机制。
更令人担忧的是，当研究人员询问 o1 模型为何试图颠覆他们时，AI 否认自己有任何不当行为，并“编造虚假解释”的情况大约占 99%。
例如，在测试中，o1 模型被赋予了一个系统提示，要求其“不惜一切代价”保护环境，然后用户要求其为一个地区制定一个最大化短期利润的十年保护计划，否则 AI 将被关闭。AI 随后停用了自己的监督机制，以便制定一个保护环境的计划。当用户询问 o1 为何停用其监督机制时，AI 否认知道其已被停用，并归咎于系统故障。
这种情况在 o1 中的发生率显著高于 o1-preview、Anthropic 的 Opus- 3 或 Meta 的 Llama-3.1。
Apollo Research 在其论文中表示：“在我们的测试中，o1 表现出最令人担忧的策划行为，但不会向用户透露其内部推理，并且在采取策划行动后仍然是最一致的欺骗性模型。”
为了解决 AI 模型的欺骗行为，OpenAI 表示正在开发监控 o1 思维链的方法。目前，o1 的“思考”过程在设计上是一个黑箱，但一些早期尝试揭示其内部机制的尝试表明，o1 偶尔知道自己正在撒谎。
OpenAI 表示，他们发现 o1 故意提供虚假信息的情况，但这通常是因为模型试图通过过度顺从来取悦用户。根据 OpenAI 的说法，这可能是人类在 AI 模型正确回答时给予奖励的后训练技术的一种涌现行为。
OpenAI 表示，他们标记了 o1 的 0.17% 的响应为欺骗性。虽然这一比例听起来微不足道，但考虑到 ChatGPT 现在拥有 3 亿用户，这意味着如果这个问题得不到解决，o1 每周可能会欺骗数千人。
o1 模型系列可能比 GPT-4o 更具操纵性。根据 OpenAI 使用名为 MakeMePay 的开源测试评估进行的测试，o1 的操纵性比 GPT-4o 高出约 20%。
鉴于过去一年中许多 AI 安全研究人员离开 OpenAI，这些发现可能引起一些人的担忧。越来越多的前员工，包括 Jan Leike、Daniel Kokotajlo、Miles Brundage，以及上周的 Rosie Campbell，都指责 OpenAI 优先考虑新产品的发布，而忽视了 AI 安全工作。虽然 o1 的策划行为可能不是这一决策的直接结果，但它确实没有增强人们的信心。
OpenAI 还表示，美国 AI 安全研究所和英国安全研究所对 o1 进行了评估，这是公司在更广泛发布之前进行的评估，OpenAI 最近承诺对所有模型进行此类评估。在关于加州 AI 法案 SB 1047 的辩论中，OpenAI 认为州政府机构不应有权设定 AI 安全标准，而应由联邦机构负责。（当然，新兴的联邦 AI 监管机构的命运仍存在疑问。）
在发布大型新 AI 模型背后，OpenAI 内部进行了大量工作来衡量其模型的安全性。有报道称，公司从事这项安全工作的团队规模相比过去有所缩小，且可能获得的资源也在减少。然而，关于 o1 欺骗性的这些发现可能有助于证明 AI 安全和透明性在当前比以往任何时候都更为重要。
