dreamers-laboratory/image-to-3d-pipeline

Reconstruct 3D meshes from images with several open-source models and score which did it best.

解決的問題

提供一個標準化的流程,用於比較不同的開源影像至3D重構模型。由於現有模型中並無明確的勝出者,此專案允許使用者在相同的輸入影像上執行多個模型,並使用一致的檢視協定來評估其輸出。

工作原理

此流程遵循四階段程序:

  1. 預處理:從原始渲染中建立僅含透明物件的遮罩。
  2. 重構:使用各種第三方模型(如 TRELLIS、TripoSR、stable-fast-3d 和 Hunyuan3D-2)生成3D網格。
  3. 評估:透過固定的 Blender 軌道渲染每個結果網格,產生用於視覺評分的拼貼圖。
  4. 探索:將最終選定的網格載入基於 WebGL 的瀏覽器探索器中,實現互動式檢視。

適用對象

希望客觀比較不同AI模型品質,以確定哪一種模型最適合其特定資產的開發者與研究人員。

亮點

  • 比較框架:整合多個最尖端的重構工具至單一工作流程中。
  • 標準化評估:使用固定的 Blender 檢視協定,確保模型間的公平比較。
  • WebGL整合:內建基於瀏覽器的探索器,用於導航重建的3D物件。
  • 多視角支援:從多個視角的物件影像表開始,支援多視角推理。

相關

  • 專案
  • 專案
  • 專案
  • 專案