half-potato/radiance_meshes

What it solves

このプロジェクトは、ボリューム再構成の手法である Radiance Meshes のトレーニングコードを提供します。一連の画像からシーンの 3D 表現を作成することができ、mipnerf360 や zipnerf などのさまざまなデータセットをサポートしています。

How it works

システムは、シーンの一連の画像を取り込み、ボリュームを再構成するためのモデルをトレーニングします。convert.py スクリプトを介してカスタムデータセットの変換をサポートしており、Gaussian Splatting で使用されるデータセット形式（Agisoft Metashape 経由）とも互換性があります。トレーニングプロセスは、VRAM の少ない GPU のために hashmap size を縮小したり、モバイル Web での閲覧用に vertex budget や voxel size などのパラメータを調整して軽量モデルを作成したりするなど、異なるハードウェアの制約に合わせて最適化できます。

Who it's for

3D 再構成、ボリュームレンダリング、コンピュータビジョンに取り組む研究者や開発者で、NVIDIA GPU（理想的には 24GB VRAM）を使用し、Linux 環境で実行している方を対象としています。

Highlights

• Volumetric Reconstruction: 画像から詳細な 3D シーンを作成することに特化しています。
• Web-Optimized Training: モバイルでの閲覧用にモデルサイズと vertex count を削減するための特定のパラメータが提供されています。
• Flexible Dataset Support: 標準的な NeRF データセットおよび Gaussian Splatting 形式と互換性があります。
• Hardware Adaptability: 24GB 未満の VRAM を持つ GPU に合わせて設定を調整できます。