dreamers-laboratory/image-to-3d-pipeline

Reconstruct 3D meshes from images with several open-source models and score which did it best.

解决的问题

提供一个标准化的流程,用于比较不同的开源图像到3D重建模型。由于现有模型中没有明确的优胜者,该项目允许用户在相同的输入图像上运行多个模型,并使用一致的检查协议来评估其输出。

工作原理

该流程遵循四个阶段:

  1. 预处理:从源渲染中创建仅包含透明物体的掩码。
  2. 重建:使用各种第三方模型(如 TRELLIS、TripoSR、stable-fast-3d 和 Hunyuan3D-2)生成3D网格。
  3. 评估:通过固定的 Blender 轨道渲染每个生成的网格,创建用于视觉评分的拼贴图。
  4. 探索:将最终选定的网格加载到基于 WebGL 的浏览器探索器中,实现交互式查看。

适用人群

希望客观比较不同AI模型质量,以确定哪种模型最适合其特定资产的开发者和研究人员。

亮点

  • 比较框架:将多个最先进的重建工具整合到一个工作流中。
  • 标准化评估:使用固定的 Blender 检查协议,确保模型之间的公平比较。
  • WebGL 集成:包含一个基于浏览器的探索器,用于导航重建的3D对象。
  • 多视角支持:通过从多个视角的物体图像表开始,支持多视角推理。

相关

  • 项目
  • 项目
  • 项目
  • 项目