jayin92/Skyfall-GS

解決する課題

Skyfall-GSは、大規模で幾何学的に正確な3D都市シーンを作成する際の困難を解決します。従来、これには高価な3Dスキャンやアノテーションが必要でしたが、汎用モデルにとってこれらは希少なリソースです。本プロジェクトでは、入手容易な衛星画像とオープンな拡散モデルのみを使用して、没入型の3D都市を合成することを可能にします。

仕組み

このフレームワークは、3Dシーンを構築するために2段階のプロセスを使用します：

1. 再構築 (Reconstruction)：まず衛星画像を使用して、都市エリアの粗い3Dジオメトリを確立します。
2. 反復データセット更新による合成 (Synthesis with Iterative Dataset Update, IDU)：ジオメトリを洗練させ、フォトリアルなテクスチャを追加します。これは、拡散モデルを使用して高品質なクローズアップの外観を作成し、データセットを反復的に更新して視覚的な一貫性と詳細を向上させるカリキュラム駆動型戦略によって達成されます。

最終的な出力は、没入型探索のためにリアルタイムでレンダリング可能な Gaussian Splatting モデルです。

対象ユーザー

このツールは、3Dシーン合成、都市計画の可視化、およびリアルで大規模な仮想環境を必要とする具身化AIアプリケーションに取り組む研究者や開発者向けに設計されています。

ハイライト

• 3Dアノテーション不要：高価な手動の3Dラベルを必要とせずに大規模なシーンを作成します。
• リアルタイム探索：合成された都市環境の没入型リアルタイム3Dナビゲーションをサポートします。
• 反復的な洗練：特定のIDU戦略を使用して、幾何学的な完全性とテクスチャのフォトリアリズムの両方を段階的に強化します。
• 視点間の一貫性：既存の手法と比較して、異なる視点間での幾何学的およびテクスチャの一貫性を向上させます。