共计 1153 个字符,预计需要花费 3 分钟才能阅读完成。
Runway,作为首批公开发布的 AI 视频生成平台之一,已经推出了其第三代模型——这是该技术的一大进步,可能成为迄今为止最佳的 AI 视频生成器之一。
正如 OpenAI 所言,其最终目标是实现人工通用智能,而 Runway 的目标则是通用世界模型。这是一种能够构建环境内部表示并利用它在该环境中模拟事件的 AI 系统。
来自 Runway 的新模型 Gen-3 Alpha,是该初创公司迄今为止最接近实现其长期愿景的产品。该公司表示,它将为 Runway 平台上的所有图像和文本到视频工具提供动力,包括 Motion Brush 以及其他功能,如文本到图像。
Runway Gen- 3 与 Gen- 2 的比较
Runway 尚未透露何时将实施 Gen-3,取代当前的 Gen- 2 模型,但补充说 Gen- 3 已设置了新的安全措施,包括改进的视觉审查和 C2PA 标准,这使得追踪不同类型媒体的起源变得更加容易。
这是新一代 AI 视频模型中的最新成果,每个模型都具有更长的剪辑和改进的动作,包括 OpenAI Sora、Luma Labs Dream Machine 和 Kling。
Runway 表示,Gen- 3 是系列模型中的第一款,这些模型是在新的基础设施上训练的。这专门为大规模多模态训练而构建,提高了保真度、一致性和动作。
从 Sora 中学到的教训之一是,规模比大多数其他因素更重要,因此增加更多的计算和数据可以显著改善模型。
Gen- 3 的特点
新模型同时训练了视频和图像,Runway 表示这将提高从文本到视频提示的视觉质量。
新模型还将为提供更多对结构、风格和动作等细节控制的工具提供动力。
我还没有机会亲自尝试 Gen-3,它仍处于 alpha 模式,但视频似乎显示了动作和提示遵从性的显著改进。
每个视频大约十秒钟,大约是 Luma 默认值的两倍,与 Sora 视频长度相似。它也几乎是当前 Runway Gen- 2 视频长度的三倍。
Gen- 3 的示例视频
以下是一些 Gen- 3 生成的示例视频及其提示:
- 乘坐火车:提示:“日本城市中,一列以超高速行驶的火车窗户上,一位女士的微妙倒影。”
- 城市中的宇航员:提示:“一名宇航员在里约热内卢的巷子里奔跑。”
- 水下社区:提示:“FPV 飞行,穿越一个水下郊区社区的彩色珊瑚街道。”
- 热气球:提示:“夜间手持追踪镜头,跟随一个脏蓝色的气球在废弃的欧洲街道上空飘浮。”
- 大局观:提示:“一只蚂蚁从巢穴中出现的极端特写镜头。摄像机拉回,揭示了山坡之外的社区。”
- 逼真的人物:提示:“放大镜头到坐在空荡荡的学校体育馆中间长椅上的年轻女子脸部。”
- 穿越城堡的无人机:提示:“FPV 无人机镜头穿越悬崖上的城堡。”
Runway 的 Gen- 3 模型展示了 AI 视频生成技术的显著进步,不仅提高了视频的质量,还增强了用户对视频细节的控制能力。这一创新无疑将推动 AI 视频技术的发展,为用户带来更加丰富和真实的视觉体验。