jd-opensource/JoyAI-Echo

解決する課題

JoyAI-Echo は、長編で一貫性のある視聴覚コンテンツを作成するという課題に取り組みます。時間経過にわたって物語の連続性を維持する拡張ビデオを生成するツールと、ナビゲーションに応答して同期した環境音、音楽、音声を伴うインタラクティブなワールドモデルを提供します。

仕組み

このプロジェクトは2つの独立したモジュールで構成されています。Echo-LongVideo モジュールはメモリバンクを使用して複数のショット間の一貫性を維持し、10分以上のビデオ生成を可能にします。Echo-WM（ワールドモデル）モジュールはオムニモーダルエンジンとして機能し、ユーザーが仮想環境をナビゲートするにつれて進化するリアルタイムのインタラクティブな視聴覚体験を生成します。

対象ユーザー

このプロジェクトは、長期的な生成メディア、インタラクティブなワールドシミュレーション、高度な視聴覚合成に興味のある研究者と開発者を対象としています。学術および非商用利用に厳密に限定されています。

ハイライト

• 長期的生成：持続的な物語メモリを備えた10分以上のマルチショットビデオ作成をサポート。
• オムニモーダルワールドモデリング：継続的なナビゲーションに反応する同期したビデオ、環境音、音楽、音声を生成。
• シミュレーションパイプライン：物理ベースの軌跡生成と高品質レンダリングのための Unreal Engine ベースのパイプラインを含む。
• コンシューマー GPU サポート：コンシューマー向けハードウェアで実行するように設計された最適化された推論プロファイル。
• モジュラーアーキテクチャ：依存関係の競合を防ぐ2つの独立した自己完結型環境。