共计 1965 个字符，预计需要花费 5 分钟才能阅读完成。
OpenAI 正在警告失控 AI 系统的危险性，尽管它与其他主要科技公司竞争开发“超级智能”——一种目前仍处于理论阶段的机器智能，其能力超越人类大脑。
在一篇题为《AI 进展与建议》的 博客文章 中，该公司概述了这种先进 AI 可能为人类带来的广泛社会利益、在此过程中可能遇到的风险以及一些缓解这些风险的建议。以下是其内容的解读。
AI 乌托邦
根据 OpenAI 的说法，超级智能 AI 的发展可能会使人类福祉民主化。
“我们预计未来将提供新的、希望更好的生活方式，让更多的人体验到这种生活，”该公司写道，并补充说，为了实现这一目标，可能需要付出一些代价。“工作将变得不同，经济转型在某些方面可能会非常困难，甚至可能必须改变基本的社会经济契约。但在一个广泛分布富足的世界中，人们的生活可能会比今天好得多。”
这一信息呼应了公司首席执行官 Sam Altman 最近的一篇个人博客文章，他将超级智能 AI 描绘为一种不可避免的趋势，虽然会带来一些重大的社会动荡（例如消除某些类别的工作），但从长远来看，这将成为人类历史上的重大福祉。
周四的博客对 AI 如何带来“广泛分布的富足”做出了一些模糊的预测——例如，帮助加速科学发现（该公司已经开始着手这项工作）。该公司补充说，“AI 系统将帮助人们了解自己的健康，加速材料科学、药物开发和气候建模等领域的进展，并为全球学生提供个性化教育。”
潜在风险
“超级智能”是硅谷最新且最热门的营销术语，无论是好是坏。最著名的是，Meta 在 6 月宣布成立了一个内部研发部门，致力于构建超级智能。同样，微软也组建了一个“超级智能团队”，根据该公司 AI 负责人 Mustafa Suleyman 最近在 X 上发布的关于公司“人道主义”方法的帖子，该团队旨在构建“极其先进的 AI 能力，始终为人类服务。”
讽刺的是，“超级智能”一词是由 2014 年一本同名 书籍 普及的，该书主要作为对失控、自我改进 AI 的危险性的警告。
上个月，非营利组织未来生命研究所发布了一份声明，由 Geoffrey Hinton 和 Steve Wozniak 等科技界知名人士签署，警告超级智能 AI 可能逃脱人类控制，对文明构成生存威胁。该声明建议，所有行业构建超级智能 AI 的努力都应暂停，直到实验室能够制定出安全的前进道路。
即使使用当今的 AI 工具，许多专家也担心所谓的 对齐问题：确保这些黑箱系统不违背人类利益的挑战。广义上讲，围绕超级智能的主要担忧是，它将比人类智能先进得多，比我们今天交互的系统更加难以理解，以至于它可能以极其微妙的方式操纵或误导我们。
其他人则将这些担忧视为 AI“末日论”，并坚称即使超级智能 AI 失控，我们也可以随时将其关闭。问题解决。
提出的解决方案
OpenAI 似乎在向未来生命研究所关于超级智能 AI 风险的声明点头，在周四的博客文章中写道，该技术“可能具有灾难性”，并提出一个潜在的解决方案是行业“放慢发展速度，以更仔细地研究这些系统，尤其是在我们接近能够进行递归自我改进的系统时。”
该公司还提出，行业应被允许与联邦立法者密切合作，制定类似于建筑规范和消防标准的 AI 法规，从而确保 AI 安全和监督协议的普遍和标准化遵守。
当然，这可能是 OpenAI 在加州和科罗拉多等州开始更明确地监管该技术时，提升其对联邦 AI 政策制定影响力的另一种策略。在确认公司重组和与微软围绕实现 AGI（通往超级智能的途中或常与之混淆的目标）达成协议后几周，建议行业“放慢发展”似乎有些矛盾。
该公司在博客中明确表达了对各州 AI 监管方法的看法：“大多数开发者和开源模型，以及几乎所有当今技术的部署，相对于现有法规，应面临最小的额外监管负担，”该公司写道。“当然不应面对 50 个州的拼凑法规。”过去，OpenAI 并不一定支持监管，但表达了更倾向于联邦监管而非各州立法的立场。
ROI 的驱动力
尽管 OpenAI 坚持安全和全面治理框架的重要性，但它在 AI 行业中以其快速且常常鲁莽的行为而闻名。
许多早期员工——包括竞争对手 AI 实验室 Anthropic 的创始人 Dario 和 Daniela Amodei 兄妹——离开了公司，并公开批评他们认为优先快速开发而非安全的文化。这一问题也是公司董事会短暂罢免 Altman 的核心，结果适得其反。
OpenAI 及其竞争对手有另一个理由如此乐观地描绘 AI 的未来：在“AI 泡沫”的担忧中保持投资者的资金流动。
过去三年，科技公司在 AI 上花费了数千亿美元，理由是这项技术将很快协助重大科学突破并彻底改变生产力，这只是其中的一些希望。但许多公司（包括 OpenAI）仍然没有盈利；大多数使用 AI 的企业尚未从该技术中获得任何实质性收益；AI 辅助科学发现的承诺仍然大多是假设性的。
尽管如此，OpenAI 最近宣布已获得 100 万企业客户，其中许多客户报告的 AI 驱动利润比整个行业迄今为止看到的还要多——这可能标志着 ROI 叙事的一个转折点。
