facebookresearch/meshflow

解決する課題

MeshFlowは、高品質で芸術的な3Dメッシュを迅速に生成するように設計されています。プロが作成したような詳細な3Dジオメトリを作成するという課題に対処し、メッシュ1つあたりの生成時間を約1秒に短縮します。

仕組み

このシステムは、変分オートエンコーダー（VAE）とDiffusion Transformer（DiT）を組み合わせた2部構成のアーキテクチャを使用しています：

• MeshVAE: メッシュのトポロジーを連続的な潜在空間にエンコードし、それらを頂点、法線、隣接情報としてデコードします。
• MeshFlowDiT: これらの潜在変数上で動作するflow-matching Diffusion Transformerです。入力ジオメトリ（voxel RoPEを使用）およびオプションのリファレンス画像（DINOv3ビジュアルエンコーダーを使用）に基づいて条件付けが可能です。
• パイプライン: エンドツーエンドのプロセスには、表面サンプリング、潜在空間でのflow matching、およびVAEを介した最終的なデコードが含まれます。

対象者

このツールは、3Dアーティスト、コンピュータビジョンの研究者、およびジオメトリやリファレンス画像から迅速かつ高忠実度な3Dメッシュ生成を必要とするアプリケーションを構築する開発者向けです。

ハイライト

• 高速: 約1秒で芸術的なメッシュを生成します。
• 柔軟な条件付け: ジオメトリベースの条件付けとリファレンス画像ベースの条件付けの両方をサポートしています。
• DINOv3連携: 画像を使用する場合、高品質なビジュアルトークンのためにDINOv3と統合されています。
• 解像度制御: 生成されたメッシュの頂点数を大まかに制御するメカニズムが含まれています。