共计 1016 个字符，预计需要花费 3 分钟才能阅读完成。
本周二，谷歌和特拉维夫大学的研究人员联合发布了名为 GameNGen 的新 AI 模型，该模型借鉴了 Stable Diffusion 的 AI 图像生成技术，能够实时交互式模拟 1993 年的经典游戏《毁灭战士》。这一神经网络系统作为有限的游戏引擎运行，预示着未来实时视频游戏合成的新可能性。
例如，未来的游戏可能会利用 AI 引擎实时“想象”或幻化图形，而非使用传统技术绘制图形视频帧。应用开发者 Nick Dobos 在推特上表示：“这里的潜力巨大。既然 AI 可以为你思考每一个像素，为何还要手动编写复杂的软件规则呢？”
据报道，GameNGen 能够使用单一的张量处理单元（TPU）以每秒超过 20 帧的速度生成新的《毁灭战士》游戏画面。在测试中，十名人类评分者有时无法区分实际的游戏视频片段和 GameNGen 生成的输出。
实时视频游戏合成，或称之为“神经渲染”，并非全新的概念。英伟达 CEO 黄仁勋预测，未来五到十年内，大多数视频游戏图形可能由 AI 实时生成。GameNGen 还基于该领域之前的研究，包括 2018 年的 World Models 和 2020 年的GameGAN。
在一篇名为“扩散模型是实时游戏引擎”的预印本研究论文中，作者解释了 GameNGen 的工作原理。他们的系统使用了一个修改版的 Stable Diffusion 1.4，这是一个于 2022 年发布的图像合成扩散模型。
在玩家输入的指导下，扩散模型在经过大量《毁灭战士》游戏视频训练后，从先前的游戏状态预测下一个游戏状态。GameNGen 的开发涉及一个两阶段的训练过程。首先，研究人员训练了一个强化学习代理来玩《毁灭战士》，并记录其游戏会话以创建一个自动生成的训练数据集。然后，他们使用这些数据来训练定制的 Stable Diffusion 模型。
然而，使用 Stable Diffusion 会引入一些图形故障，正如研究人员在其摘要中指出的：“Stable Diffusion v1.4 的预训练自动编码器将 8×8 像素块压缩成 4 个潜在通道，在预测游戏帧时会产生有意义的伪影，影响小细节，特别是底部状态栏 HUD。”
这并非唯一的挑战。保持图像在时间上的视觉清晰和一致可能是一个挑战。GameNGen 研究人员在其论文中写道：“交互式世界模拟不仅仅是快速视频生成。”他们指出，“在生成过程中仅能获得输入动作流的条件，打破了现有扩散模型架构的一些假设”，包括基于先前帧重复生成新帧（称为“自回归”），这可能导致不稳定和生成世界质量随时间迅速下降。
