Google DeepMind Genie 4 世界模拟模型

Genie 4 概述

Genie 4 是 Google DeepMind 推出的新一代世界模拟 AI,旨在创建能够实时响应用户输入的交互式、照片级逼真的环境。与前代产品不同,Genie 4 是原生多模态的,这意味着它在生成视觉帧的同时,还能生成同步的音频,包括环境音、音乐和交互式对话。该模型集成了 Gemini 系列的功能,利用 Gemini Omni 进行视觉定位,并使用其他 Gemini 变体进行复杂推理,从而使模拟能够保持叙事和物理的一致性。

核心能力

Genie 4 在世界模拟方面引入了四项主要进展:

  • 实时引导: 用户可以使用自然语言提示词即时修改模拟。模型会根据上下文调整场景,例如改变天气、摄像机角度或引入新物体,同时保持环境的连续性。
  • 增强的真实感: 该模型展示了改进的物理理解能力,包括空气动力学和碰撞处理,从而在生成的空间内实现更可信的交互。
  • 原生音频生成: 它是第一个能够原生生成音频的实时世界模型,支持动态音景以及角色发出的交互式、反应式语音。
  • 智能体推理: 通过利用 Gemini 模型作为引导智能体,Genie 4 可以模拟复杂的多步骤事件,使其成为在模拟环境中训练机器人和智能体的潜在工具。

应用与用例

DeepMind 目前正在与各行业的合作伙伴共同测试 Genie 4,以确定其在实际工作流程中的效用:

  • 创意指导: 电影制作人正在将该模型用作预可视化的“草稿模式”,从而实现对摄像机角度、灯光和场景构图的快速迭代。
  • 历史与环境可视化: 记者和研究人员正在探索将 2D 档案照片转换为动态、可探索的 3D 模拟。
  • 交互设计: 游戏开发者正在利用该工具进行视觉风格和机制的原型设计,而无需编写引擎代码。
  • 机器人训练: 该模型正在评估其模拟多样化场景的能力,为在现实世界部署之前测试具身智能提供了一个平台。

局限性与安全性

尽管取得了进步,但 Genie 4 仍然是一个实验性研究模型。已知的局限性包括:

  • 视觉漂移: 在长时间会话或经过大量提示词编辑后,物体的持久性和视觉细节可能会发生变化。
  • 一致性问题: 保持空间准确性和渲染清晰的文本仍然是一个挑战。
  • 安全护栏: 该模型包含严格的安全策略,并使用 SynthID(一种不可见的数字水印技术)来识别 AI 生成的视频和音频内容。

社区反馈与讨论

公众在 Hacker News 等平台上的反应褒贬不一,用户既指出了该技术的雄心壮志,也指出了其当前的局限性。批评者强调了视觉伪影的实例,例如当物体移出画面时细节不一致,并质疑模型准确处理复杂、长期物理规律的能力。其他人则对模型的专有性质以及缺乏技术透明度(如参数数量或开源权重可用性)表示担忧。然而,支持者指出了进步的快速步伐,将世界模型的现状比作基于文本的 LLM 早期容易出错的日子,并对未来创意和基于模拟的工作流程的潜力表示兴奋。

"他们很容易展示抽象事物的演示,因为它们不一定非要遵循现实世界的规则,但任何模仿现实世界的东西都达不到预期。" — Hacker News 用户 pllbnk

"阅读评论时,似乎几乎没有人留下深刻印象,并指出了样本中明显的错误。与此同时,距离我们看到 AI 生成的 Will Smith '吃' 意大利面的怪异视频才过去大约 3 年多。对我个人而言,这看起来非常令人印象深刻,这显然是又一次飞跃。" — Hacker News 用户 numlock86

可用性

Genie 4 目前作为研究预览版提供给受信任的测试人员。预计它将发布给 Project Genie 中的 Google AI Ultra 订阅者,并通过 Gemini API 和 Google AI Studio 提供给早期访问合作伙伴。感兴趣的用户可以通过官方 DeepMind 门户网站加入候补名单。

Sources

相关