共计 1315 个字符，预计需要花费 4 分钟才能阅读完成。
包括 Geoffrey Hinton 和 Yoshua Bengio 在内的 AI 领域领袖近日签署了一份请愿书，警告人工智能的下一阶段发展可能对人类构成生存威胁。
大约三年前，ChatGPT 的意外发布开启了 AI 竞赛的序幕，此后发展迅速。如今，一群行业专家再次发出警告——这并非首次——呼吁 AI 实验室应放慢脚步，以免人类将自己推向危险的边缘。
周三，专注于 AI 生存风险的非营利组织未来生命研究所（FLI）发布了一份声明，认为“超级智能”的发展——AI 行业的一个流行词，通常指一种假设的机器智能，能够在任何认知任务上超越人类——构成了生存风险，因此应暂停，直到找到安全的前进路径。
声明作者写道，领先 AI 实验室之间在构建超级智能方面的无监管竞争可能导致“人类经济的过时和权力丧失，自由、公民权利、尊严和控制的丧失，甚至国家安全风险，以及潜在的人类灭绝。”
他们进一步主张，在以下两个条件满足之前，应禁止开发超级智能机器：(1)“广泛的科学共识认为它将以安全和可控的方式完成”，以及 (2)“公众的强烈支持”。
截至周三上午晚些时候，请愿书已获得超过 1300 个签名。知名签署者包括 Geoffrey Hinton 和 Yoshua Bengio，他们因在神经网络领域的开创性工作而共同获得了 2018 年图灵奖（与研究员 Yann LeCun 一起），如今被称为“AI 教父”。
计算机科学家 Stuart Russell、苹果联合创始人 Steve Wozniak、维珍集团创始人 Richard Branson 爵士、前特朗普政府首席战略师 Steve Bannon、政治评论员 Glenn Beck、作家 Yuval Noah Harari，以及许多科技、政府和学术界的知名人物也签署了这份声明。
他们并非唯一对超级智能表示担忧的人。周日，FLI 发布了一项针对 2000 名美国成年人的民意调查结果，发现 64% 的受访者“认为超级人类 AI 在证明其安全和可控之前不应被开发，或者永远不应被开发。”
在营销炒作和技术合法性之间划清界限并不总是容易的，尤其是在像 AI 这样热门的技术领域。
与人工通用智能（AGI）类似，“超级智能”是一个定义模糊的术语，最近被一些技术开发者用来描述 AI 进化阶梯的下一阶段：一种尚未实现的机器，能够完成人类大脑所能做的任何事情，甚至更好。
今年 6 月，Meta 成立了一个内部研发部门，致力于构建这项技术，并将其称为超级智能实验室。大约在同一时间，Altman 发表了一篇个人博客文章，认为超级智能的到来迫在眉睫。（FLI 的请愿书引用了 Altman 2015 年的一篇博客文章，他在其中将“超级人类机器智能”描述为“可能是人类持续生存的最大威胁。”）
“超级智能”一词因牛津哲学家 Nick Bostrom 2014 年出版的同名书籍而流行，该书主要警告构建自我改进的 AI 系统的危险，这些系统有朝一日可能会摆脱人类的控制。
Bengio、Russell 和 Wozniak 也是 FLI 发布的 2023 年公开信的签署者之一，该信呼吁暂停训练强大的 AI 模型六个月。
尽管这封信在媒体上引起了广泛关注，并引发了公众关于 AI 安全的讨论，但快速构建和商业化新 AI 模型的势头——到那时已经彻底席卷了科技行业——最终压倒了实施大规模暂停的意愿。
