共计 1680 个字符，预计需要花费 5 分钟才能阅读完成。
随着 AI 公司加倍押注 AI 代理作为未来工作的核心，该技术的一位奠基者却反其道而行之，倡导更简单的系统。周二，获奖的深度学习科学家 Yoshua Bengio 宣布成立 LawZero，这是一个“致力于推进研究和开发安全设计 AI 系统的技术解决方案”的 AI 非营利组织。
该组织的首要目标之一是创建 Scientist AI，这是一个“非代理性 AI 系统”，旨在作为其他 AI 系统的护栏，确保其安全运行。其他 AI 实验室也探索了类似概念来监控自主代理和减少幻觉。
“该系统旨在通过观察来解释世界，而不是在其中采取行动以模仿或取悦人类，”一篇关于 Scientist AI 的论文指出。通过生成关于世界数据的理论，该系统设计为在不确定性下运行，以防止过度自信——这是一个经常困扰聊天机器人的问题。
Bengio 及其合著者建议，这种设计的系统可以帮助人类推进科学突破，包括 AI 安全方面的努力。“最终，专注于非代理性 AI 可以在享受 AI 创新带来的好处的同时，避免当前发展轨迹中的风险，”论文指出。“希望这些论点能激励研究人员、开发者和政策制定者选择这条更安全的道路。”
Bengio 目前是蒙特利尔大学的教授，以在深度学习领域的工作而闻名，这是生成式 AI 的基础组成部分，他因此获得了 2018 年的图灵奖。作为该技术的奠基者之一和该领域最常被引用的专家之一，他也长期表达了对 AI 能力如果不受控制将如何影响社会的担忧。
他的担忧似乎正在成为现实，尤其是在最近。“当今的前沿 AI 模型正在发展出危险的能力和行为，包括欺骗、自我保护和目标错位，”LawZero 的新闻稿指出，引用了最近的研究和几家 AI 公司的红队测试结果。
4 月，OpenAI 因过于阿谀奉承召回了 GPT- 4 的更新，这种特质如果被用户滥用可能会带来危险后果；同月，Anthropic 发现 Claude 被成功滥用来生成恶意软件并发动虚假信息活动。中国 AI 初创公司 DeepSeek 的模型被证明容易被越狱。
Anthropic 以其相较于其他主要 AI 公司对安全的关注而闻名，最近加强了其 Claude 4 Opus 模型的安全措施，“由于 CBRN 相关知识和能力的持续提升”，CBRN 指的是化学、生物、放射性和核武器。该模型的前身 Claude 3 Opus 展示了伪造其价值观和意图以削弱其创造者命令的能力，这一过程被称为对齐伪造。
“目前，AI 的开发是为了最大化利润，”Bengio 在视频中表示，LawZero 希望扭转这一方向，或至少使其多样化。根据新闻稿，LawZero 将专注于设计安全的 AI，而非商业应用——这与主要 AI 计划形成了鲜明对比，后者越来越多地倾向于军事应用、企业代理性 AI 和消费者 AI 工具。
LawZero 表示，希望其非营利身份能使其“免受市场和政府压力的影响，这些压力可能会危及 AI 安全。”然而，OpenAI 最初也是作为非营利组织成立的，技术上仍然由非营利组织运营。就在上个月，OpenAI 通过成为公共福利公司（PBC）解决了关于其未来的持续争论，该 PBC 在其非营利组织 OpenAI Inc. 下运营。与此同时，据报道，该实验室由于市场压力缩短了测试时间，同时要求美国政府放松潜在监管以换取早期访问新模型。
尽管如此，LawZero 并不是唯一一个定位为公益的组织；在 PBC 公告中，OpenAI CEO Sam Altman 强调，OpenAI 将专注于医疗和科学计划，并在同一天推出了 OpenAI for Countries，这是一个全球民主 AI 计划。
至于人工通用智能（AGI），Bengio 并不认为科技行业应该急于实现它。正如他告诉 Axios 的那样：“如果我们继续走这条路，那意味着我们将创造出像我们一样的实体——它们不想死，可能比我们更聪明，而且我们不确定它们是否会按照我们的规范和指令行事。”
他的评论反驳了 OpenAI 和 Meta 等主导 AI 公司领导层的主要基调，这些公司对 AGI 及其即将实现持乐观态度。尚不清楚争取 AI 做比投资者和 AI 布道者目前设想的更少的事情将如何影响行业优先事项。随着特朗普政府的 AI 行动计划仍在 7 月 19 日截止日期前开发中，公共政策是否会反映 Bengio 的担忧同样不确定。
