TencentARC/VerseCrafter

VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control

何を解決するか

VerseCrafterは、AI生成動画における幾何学的忠実性と空間時間的一貫性を維持する難しさ、特にシーン内のカメラと複数のオブジェクトの動きを制御しようとする際の課題に対処しています。

動作方法

このシステムは、凍結された Wan2.1 動画バックボーンを使用し、拡散ブロックに4D幾何制御を注入するための幾何学に配慮した「GeoAdapter」を接続します。カメラと複数オブジェクトの動きを管理するために、統一された4D制御状態を使用します。これに対応するため、本プロジェクトはVerseControl4Dデータセットを導入しており、実世界の動画に自動生成されたカメラ軌道と3Dガウス軌道を含み、監視に使用されます。

対象ユーザー

制御可能な動画生成およびワールドモデルに取り組む研究者や開発者、また提供されたBlenderアドオンを使って軌道を視覚的に編集できる3Dアーティストを対象としています。

特徴

  • 4D幾何制御: カメラと複数オブジェクトの動きに対して直接的かつ解釈可能な制御を提供します。
  • GeoAdapter: 基底動画事前分布を凍結したままにすることで、動画品質を損なわず、正確な制御を可能にします。
  • Blender統合: 1ストップワークフローを可能にするアドオンを提供し、ユーザーが3D環境で軌道を視覚的に編集できます。
  • VerseControl4Dデータセット: 4D制御可能な動画生成を監視するために特別に構築された大規模データセットです。

関連

  • プロジェクト
    IamCreateAI/NeoVerse

    NeoVerseは、単眼ビデオ映像から3Dシーンを再構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成 NeoVerseは、単眼ビデオ映像から3thoughtful_thought: 32 tokens.```json}{

  • プロジェクト
    Eyeline-Labs/Vista4D

    Vista4Dは、4Dポイントクラウドを使用して、ソース動画から新しいカメラ軌道と視点で動的シーンを合成する動画リショットフレームワークです。

  • プロジェクト
    storytold/artcraft

    単純なプロンプト入力に代わって、正確なシーンブロッキング、キャラクターのポージング、3D合成を可能にする、インタラクティブなAI画像・動画作成用IDEです。

  • プロジェクト
    gulucaptain/Camera-Transformer-1

    CT-1 is a Vision-Language-Camera model that estimates precise camera trajectories from images and text prompts to enable spatially aware, controllable video generation.

  • プロジェクト
    nicklashansen/dreamer4

    マルチタスクの連続制御用に設計された、因果的トークナイザーとインタラクティブなダイナミクスモデルを備えたDreamer 4世界モデルのPyTorch実装。