OpenImagingLab/AnyRecon
[SIGGRAPH Asia 2026] AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model
何を解決するか
AnyReconは、任意の視点からの3D再構成の課題に対処します。ユーザーは撮影ビューのセットから高品質な3D再構成を生成でき、任意のカメラ軌道からシーンを表示する動画の作成が可能になります。
動作方法
このシステムは、動画拡散モデル（特にWan2.1 I2V）とLoRA重みを組み合わせて、3Dシーンを精緻に修正・再構成します。点群レンダリングパイプライン（π³）を用いて撮影ビューから条件付き動画を生成します。これらの条件付き動画と推定またはカスタムのカメラポーズが、動画拡散モデルをガイドし、さまざまな視点から一貫した3D再構成を生成します。
対象ユーザー
このプロジェクトは、3Dコンピュータビジョン、ニューラルレンダリング、生成AIの分野で研究・開発を行っている研究者や開発者向けです。特に、動画拡散モデルを3Dシーン再構成に統合したい方におすすめです。
特徴
- 任意の視点再構成: 任意の角度から見られる3Dシーンを生成します。
- 動画拡散モデルの統合: 高精細な視覚合成に事前学習済みのWan2.1 I2Vモデルを活用します。
- カスタム軌道対応: テストビュー画像からのポーズ推定と手動で指定されたカメラ軌道の両方をサポートします。
- 点群ガイド: π³を用いて初期の点群レンダリングを行い、拡散プロセスに構造的ガイダンスを提供します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト