ant-research/4DAnyone
[SIGGRAPH Asia 2026] 4DAnyone: Create Anyone in 4D from a Casual Monocular Video
何を解決するか
4DAnyoneは、1枚のカジュアルなモノクロナリ動画から、人物の一貫性のあるマルチビュー動画を生成することで、高品質な4Dガウススプラッティング再構成を可能にします。これは、2D動画から動的な3Dシーンを生成するための4Dガウススプラッティング（4DGS）再構成に不可欠です。
動作方法
このシステムは、1人の人物の動画を入力として受け取り、複数の同期された異なるカメラアングル（ターゲットビュー）の動画を生成します。入力カメラパラメータや静止カメラを必要としません。ユーザーは、360度のフルオービットや特定の前面弧、複数のピッチレイヤーを含む、柔軟なカメラ配置を設定でき、被写体の広範なカバーを確保できます。
対象ユーザー
4D再構成、コンピュータビジョン、デジタル人間作成に取り組む研究者や開発者向けです。単一視点からの高品質なマルチビューデータが必要な方々に最適です。
特徴
- 柔軟なビュー生成: カメラ配置とピッチレイヤーをカスタマイズ可能な数十の出力ビューをサポート。
- 2つのモデルオプション: 標準のBaseモデルと、著しく高速なノイズ除去速度を実現するdistilled Turboモデルを提供。
- コンシューマーGPU対応: 24GB未満のVRAM（例：RTX 4090）を持つGPUでも最適化されて動作します。
- インタラクティブGUI: Rerunを使用したインタラクティブな推論と可視化に対応するGradioベースのインターフェースを搭載。
関連
- プロジェクト
zju3dv/Diffuman4DDiffuman4Dは、疎な視点からのビデオから自由視点レンダリングを可能にする、高忠実度で4D一貫性のある人間視点合成のための時空拡散モデルです。
- プロジェクト
IamCreateAI/NeoVerseNeoVerseは、単眼ビデオ映像から3Dシーンを再構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成構成
NeoVerseは、単眼ビデオ映像から3thoughtful_thought: 32 tokens.```json}{
- プロジェクト
EvolvingLMMs-Lab/LLaVA-OneVision-2LLaVA‑OneVision‑2は、革新的なコーデックアライメント済みビジョンエンコーダーにより、画像、長尺動画、3‑D空間推論を統合したオープンソースの8Bマルチモーダルモデルです。本プロジェクトでは、モデルチェックポイント、エンコーダーの重み、4つの学習データセット、完全な学習コード、ログ、再現可能な評価スクリプト、および8‑GPUノードでの学習用クイックスタートDockerバンドルを公開しています。
- プロジェクト
- プロジェクト