dreamers-laboratory/image-to-3d-pipeline

何を解決するか

複数のオープンソースの画像から3D再構成モデルを比較するための標準化されたパイプラインを提供します。利用可能なモデルの中には明確な優勝者がいないため、このプロジェクトでは同じ入力画像に対して複数のモデルを実行し、一貫した検査プロトコルで出力を評価できるようにします。

動作方法

このパイプラインは4段階のプロセスに従います：

1. 前処理：元のレンダリングから透明なオブジェクトのみのマスクを作成します。
2. 再構成：TRELLIS、TripoSR、stable-fast-3d、Hunyuan3D-2などのさまざまなサードパーティモデルを使用して3Dメッシュを生成します。
3. 評価：固定されたBlenderオービットで各メッシュをレンダリングし、視覚的なスコアリング用のコンタクトシートを作成します。
4. 探索：最終的に選択されたメッシュをWebGLベースのブラウザエクスプローラーに読み込んで、インタラクティブに閲覧できます。

対象ユーザー

特定のアセットに最適なAIモデルを特定するために、異なるAIモデルの品質を客観的に比較したい開発者や研究者向けです。

特徴

• 比較フレームワーク：複数の最先端の再構成ツールを1つのワークフローに統合しています。
• 標準化された評価：公平なモデル間比較を保証する固定されたBlender検査プロトコルを使用しています。
• WebGL統合：再構成された3Dオブジェクトをナビゲートするブラウザベースのエクスプローラーを含んでいます。
• マルチビュー対応：複数の視点のオブジェクト画像のシートから開始することで、マルチビュー推論を処理できます。