Real-time generative rendering for interactive worlds, from any visual reference.

EdenLive – 从任意视觉参考进行实时生成式渲染

简介 – EdenLive 是一个研究级实时视频生成器，它接受 参考视频（游戏或模拟的低保真代理）作为输入，并在首帧图像和文本提示的引导下，实时生成高质量、照片级逼真的帧。上游程序（游戏引擎、物理模拟器或任何更新世界状态的代码）只需输出低保真视频；视觉合成由 EdenLive 负责。

主要功能

功能	详情
实时推理	在消费级 RTX 5090 上超过 24 fps（720p，5B 模型），14B 模型可达 480p。
两种推理模式	双向 – 所有帧联合去噪；少步（块自回归） – 分块自回归采样（每块 4 步）以降低延迟。
模型尺寸	5B 和 14B DiT 扩散模型，每种都有双向和少步变体。
解码器	基于 LightTAE 的 TAEHV 解码器，用于流式输出；也支持 FLUX-2 首帧渲染（非商用）。
端到端流水线	包含一个技能（EdenGolem），可将文本提示转换为可玩游戏，以及 Web 前端和 WebRTC 流媒体服务。
集成	可直接与 Reactor 运行时、NVIDIA FlashDreams 和 LightX2V 加速库配合使用。
开源性	代码、推理脚本、实时服务和模型权重（托管在 Hugging Face 上）

快速开始（概览）

克隆并设置环境

git clone https://github.com/VAST-AI-Research/EdenLive.git EdenLive
cd EdenLive
conda create -n edenlive python=3.10 -y && conda activate edenlive
# 根据 README 为 CUDA 13（或 CUDA 12.8）安装 PyTorch 和其他依赖项。

下载模型权重（总计约 210GB）

hf download VAST-AI/EdenLive --local-dir ./models/EdenLive

运行演示 – 仓库附带两个代理录制。例如，双向 5B·720p:
```
python -m edenlive.scripts.infer \
  --config edenlive/configs/wan22_5b_720p_bidir.yaml
```
输出视频将写入 outputs/ 文件夹。

启动实时服务（可选，用于交互式游戏）

cd realtime
bash turn_server.sh          # WebRTC 的 TURN 中继
bash workbench_bridge.sh    # Claude 桥接（可选）
bash workbench_flux.sh      # FLUX 首帧服务（非商用）
bash launch.sh 5b            # 模型服务

然后在浏览器中打开 http://<host>:8089 加载 Web UI。

仓库结构（主要文件夹）

edenlive/ – 离线推理代码、模型包装器和工具。
realtime/ – 流媒体服务、WebRTC 粘合层、FlashDreams 集成和 EdenGolem 技能。
reactor/ – 用于同步草稿与生成回放的可选 Reactor 运行时集成。
examples/samples/ – 两个带清单的即用代理录制。
models/EdenLive/ – 下载的权重文件的预期位置。

模型动物园

模型	大小	模式	典型分辨率
`dit-5b`	5B	少步（块 AR）	720p (1280×704)
`dit-5b-bidir`	5B	双向	720p
`dit-14b`	14B	少步	480p
`dit-14b-bidir`	14B	双向	480p

所有模型均托管在 Hugging Face 的 VAST-AI/EdenLive 下。仓库还包含所需的 VAE、CLIP、DINOv3 视觉编码器和 FLUX-2 首帧 LoRA。

许可

代码 – Apache 2.0（包括 realtime/ 子模块）。
模型权重 – 混合许可：
- DiT、VAE、UMT5、调度器、解码器：Apache 2.0
- CLIP：MIT
- 视觉编码器（DINOv3）：DINOv3 许可
- FLUX-2（仅首帧）：非商用许可（需要内容过滤）。

任何商业用途必须遵守 FLUX 组件的非商业限制。

谁可能使用这个？

游戏开发者：希望使用廉价代理引擎处理物理和 AI，同时将视觉保真度交给生成模型。
研究人员：探索交互式世界模型、视频到视频扩散或实时文本引导渲染。
艺术家：寻找实时"文本到游戏"体验，简单的描述演变成可玩的场景。

引用 – 如果您使用 EdenLive 发表作品，请引用提供的 BibTeX 条目。

VAST-AI-Research/EdenLive