Real-time generative rendering for interactive worlds, from any visual reference.

EdenLive – 任意のビジュアルリファレンスからのリアルタイム生成レンダリング

概要 – EdenLiveは、リファレンスビデオ（ゲームやシミュレーションの低品質プロキシ）を入力として、最初のフレーム画像とテキストプロンプトに基づき、高品質でフォトリアルなフレームをリアルタイム生成する、研究レベルのビデオジェネレータです。上流プログラム（ゲームエンジン、物理シミュレータ、ワールド状態を更新する任意のコード）は低品質のビデオを出力するだけでよく、ビジュアル合成はEdenLiveが担当します。

主な機能

機能	詳細
リアルタイム推論	コンシューマ向けRTX 5090で720p・24fps超（5Bモデル）、14Bモデルでは480p。
2つの推論モード	双方向 – 全フレームを同時にノイズ除去。数ステップ（チャンクAR） – チャンク単位の自己回帰サンプリング（チャンクあたり4ステップ）で低遅延。
モデルサイズ	5Bおよび14BのDiT拡散モデル。各モデルに双方向と数ステップのバリアントがあります。
デコーダ	ストリーミング出力用のLightTAEベースのTAEHVデコーダ。FLUX-2のファーストフレームレンダリング（非商用）もサポート。
エンドツーエンドパイプライン	テキストプロンプトをプレイ可能なゲームに変換するスキル（EdenGolem）、Webフロントエンド、WebRTCストリーミングサービスが含まれます。
統合	Reactorランタイム、NVIDIA FlashDreams、LightX2V高速化ライブラリとすぐに使用可能。
オープンソース	コード、推論スクリプト、リアルタイムサービス、モデル重み（Hugging Faceでホスト）

クイックスタート（概要）

リポジトリのクローンと環境セットアップ

git clone https://github.com/VAST-AI-Research/EdenLive.git EdenLive
cd EdenLive
conda create -n edenlive python=3.10 -y && conda activate edenlive
# READMEに従い、CUDA 13（またはCUDA 12.8）用のPyTorchとその他の依存関係をインストール。

モデル重みのダウンロード（合計約210GB）

hf download VAST-AI/EdenLive --local-dir ./models/EdenLive

デモの実行 – リポジトリには2つのプロキシ録画が含まれています。例：双方向5B・720pの場合：
```
python -m edenlive.scripts.infer \
  --config edenlive/configs/wan22_5b_720p_bidir.yaml
```
出力ビデオはoutputs/フォルダに書き込まれます。

リアルタイムサービスの起動（オプション。インタラクティブゲーム用）

cd realtime
bash turn_server.sh          # WebRTC用TURNリレー
bash workbench_bridge.sh    # Claudeベースのブリッジ（オプション）
bash workbench_flux.sh      # FLUXファーストフレームサービス（非商用）
bash launch.sh 5b            # モデルサービス

その後、ブラウザでhttp://<host>:8089を開いてWeb UIを読み込みます。

リポジトリ構成（主要フォルダ）

edenlive/ – オフライン推論コード、モデルラッパー、ユーティリティ。
realtime/ – ストリーミングサービス、WebRTC接続、FlashDreams統合、EdenGolemスキル。
reactor/ – 同期ドラフト＆生成再生のためのReactorランタイムとのオプション統合。
examples/samples/ – マニフェスト付きのすぐ実行可能なプロキシ録画2点。
models/EdenLive/ – ダウンロードした重みファイルの保存先。

モデルズー

モデル	サイズ	モード	標準解像度
`dit-5b`	5B	数ステップ（チャンクAR）	720p（1280×704）
`dit-5b-bidir`	5B	双方向	720p
`dit-14b`	14B	数ステップ	480p
`dit-14b-bidir`	14B	双方向	480p

すべてのモデルはHugging FaceのVAST-AI/EdenLiveでホストされています。リポジトリには必要なVAE、CLIP、DINOv3ビジョンエンコーダ、FLUX-2ファーストフレームLoRAも含まれています。

ライセンス

コード – Apache 2.0（realtime/サブモジュールを含む）。
モデル重み – 混合ライセンス：
- DiT、VAE、UMT5、スケジューラ、デコーダ：Apache 2.0
- CLIP：MIT
- ビジョンエンコーダ（DINOv3）：DINOv3ライセンス
- FLUX-2（ファーストフレームのみ）：非商用ライセンス（コンテンツフィルタリングが必要）。

商用利用の場合は、FLUXコンポーネントの非商用制限を遵守してください。

誰が使うのか？

ゲーム開発者：物理やAIに安価なプロキシエンジンを使用し、ビジュアル品質を生成モデルに任せたい方。
研究者：インタラクティブなワールドモデル、ビデオ間拡散、リアルタイムのテキストガイドレンダリングを探求している方。
アーティスト：簡単な説明がプレイ可能なシーンに進化する、ライブな「テキストからゲーム」体験を求める方。

引用 – EdenLiveを使用した研究成果を発表する場合は、提供されたBibTeXエントリを引用してください。

VAST-AI-Research/EdenLive