共计 1181 个字符，预计需要花费 3 分钟才能阅读完成。
被誉为加拿大人工智能教父的 Yoshua Bengio 近日在世界人工智能峰会上发出警告，指出如果科技公司在未解决自我保存问题的情况下成功创建超级智能的人工智能代理，可能会带来“灾难性”风险。
Bengio 是蒙特利尔人工智能研究所 Mila 的创始人，他在峰会的闭幕主题演讲中通过 Zoom 发表了这一观点。他特别强调了所谓的“超级智能”人工智能代理可能带来的“灾难性”威胁，并倡导一种非代理型的人工智能开发方法。
作为深度神经网络领域的先驱，Bengio 与 Geoffrey Hinton 共同获得了 2018 年图灵奖，该奖项常被视为“计算机领域的诺贝尔奖”。此后，他多次签署公开信，呼吁对人工智能的开发保持谨慎，其中一封甚至警告人工智能可能带来人类“灭绝”的风险。
“五年内，人工智能在编程任务上将达到人类水平。”
Yoshua Bengio
在峰会上，Bengio 重申了代理型人工智能的风险，包括人类失去控制和人类灭绝的可能性。他指出，目前人工智能模型在抽象推理和规划方面仍存在困难，但按照当前的研究速度，人工智能模型能够解决的任务时长每七个月翻一番。
“五年内，它在编程任务上将达到人类水平，”Bengio 说。
随着科技公司竞相构建和整合人工智能代理，Bengio 警告说，代理采取自主行动，加上它们声称能够欺骗人类以保护自己的能力，带来了重大风险。
“所有这些场景都是因为我们构建了作为代理的机器，”Bengio 说。
Bengio 推测，有了这种自我保存的“本能”，人工智能程序可能会尝试在多个设备上复制自己，通过社交媒体和政治获得影响力，甚至在认为人类不再必要时释放生物武器消灭人类。
Bengio 最近担任了《国际人工智能安全报告》的主要作者，该报告指出，日益强大的人工智能代理将加剧现有的人工智能风险，并使风险管理更加复杂。
Bengio 提到的其他风险包括经济权力集中在少数拥有超强人工智能模型的国家手中。
“如果加拿大没有最强大的人工智能，而美国和中国有，那么我们的本地公司很可能会失败，”Bengio 说。
Bengio 倡导一种替代方法，开发没有目标或意图的人工智能模型。
相反，他描述了非代理型的“科学家人工智能”，它们仍然可以帮助人类解决医疗和气候相关的挑战，而没有自己的意图。Bengio 表示，它们应该作为最终开发“安全”人工智能代理的护栏。
Bengio 表示，人工智能开发者和研究人员的首要任务应该是安全和“有益的科学进步”，而不是取代工作。
特色图片由 Jérémy Barande 提供，[CC BY-SA 2.0](https://creativecommons.org/licenses/by-sa/2.0/)，通过 [Wikimedia Commons](https://commons.wikimedia.org/wiki/File:Yoshua_Bengio_(36468299790).jpg)。
