visualbruno/ComfyUI-Trellis2

ComfyUI Wrapper for Microsoft Trellis.2 - Native and Compact Structured Latents for 3D Generation

📦 什么是 ComfyUI-Trellis2?

这是一个由社区维护的 自定义节点包,将 Microsoft 的 TRELLIS.2 3D 生成管线引入到 ComfyUI(扩散模型的可视化节点界面)中。它让您能够构建端到端的工作流,将一张或多张图像转换为带纹理的 3D 网格、多视图渲染图以及基于体素的重建模型——所有操作都在熟悉的 ComfyUI 画布内完成。


✨ 主要功能(详见更新日志)

  • 多视图生成 – 包含 Sparse MultiView Generator、ImageCond MultiView Generator、Shape Cascade MultiView Generator 等节点,可从多个视角创建一致的几何结构。
  • 网格纹理与细化 – Mesh Texturing Multi-View、Mesh Texturing Pixal3D MultiView 以及 Mesh With Voxel Multi-View Generator 可添加 UV 映射纹理、支持 Pixal3D-T 模型,并允许基于体素的细节处理。
  • 几何处理 – 提供用于 网格重构 (remeshing)、平滑 (smoothing) (PyMeshlab, Trimesh)、补洞 (hole filling) (Meshlib, CuMesh)、顶点焊接 (vertex welding)、法线平滑 (normal smoothing) 与 简化 (simplification) 的节点。
  • 渲染 – Render MultiView (Nvdiffrast) 与 Preview 3D 让您能直接在 ComfyUI 中可视化结果。
  • 高级采样器 – 实验性的 Heun、RK4、RK5 扩散步骤采样器。
  • 支持外部模型 – 需要 Facebook 的 DINO-v3 视觉模型,并可选配 TencentARC/Pixal3D-T(需安装 natten 包)。
  • 平台专用 wheels – 为 Windows 上的 Torch 2.7/2.8 提供 CuMesh、nvdiffrast、nvdiffrec_render、FlexGEMM 与 o_voxel 的预编译二进制文件。

🛠️ 安装(快速入门)

  1. 先决条件
    • 安装 ComfyUI(标准版或便携版)。
    • 从 HuggingFace 下载 DINO-v3 模型并放置于 ComfyUI/models/facebook/dinov3-vitl16-pretrain-lvd1689m。
    • (可选) 若需 Pixal3D-T 支持,请从其 GitHub 仓库安装 natten 包。
  2. 安装提供的 wheels – 选择符合您 Torch 版本(2.7.0 或 2.8.0)的文件夹,并执行 README 中显示的 pip install …/*.whl 命令。针对一般 Python 安装与 ComfyUI 便携版 套件有不同的命令。
  3. 安装 Python 依赖项
    pip install -r ComfyUI/custom_nodes/ComfyUI-Trellis2/requirements.txt
    
  4. 自定义构建(可选) – 若您需要作者修补过的 o_voxel、CuMesh 或 FlexGEMM 版本,请克隆链接的仓库并进行安装。
  5. 重启 ComfyUI – 新的 Trellis2 节点将出现在 Trellis2 分类下。

🚀 如何使用

  1. 添加“PreProcess Image”节点(可选用 rembg 进行 remove_background)。
  2. 将图像输入至 Multi-View Generator – 选择您需要的风格(Sparse、ImageCond、Shape 等)。
  3. 可选运行“Mesh With Voxel … Generator” 来创建体素表示,然后使用 Voxel to Mesh 节点转换为网格。
  4. 细化几何结构 – 使用 Smooth Mesh、Fill Holes With Meshlib、Weld Vertices 或 Simplify Trimesh。
  5. 为网格添加纹理 – 使用 Mesh Texturing Multi-View(或 Pixal3D 专用节点以获得更高质量的纹理贴图)。
  6. 渲染 – 使用 Render MultiView (Nvdiffrast) 渲染结果,或通过 Preview 3D 实时查看。
  7. 导出 – 使用 Export Mesh 节点 – 输出与预览节点兼容,并可保存为标准 3D 格式。

仓库包含一个 example_workflows 文件夹,内含针对常见任务(如 Projection_Blender_Qwen_XViews、Projection MultiView Texturing 与 Pixal3D 管线)的现成 ComfyUI 图表。


📚 寻求帮助

  • Discord 社区(详见致谢区) – 活跃用户会分享工作流技巧与错误修复。
  • “Blackwell Fix” – README 中提到的已知问题社区补丁。
  • 作者的 Trellis.2、CuMesh 与 FlexGEMM 分支包含额外的文档与最新的错误修复。

🔗 相关项目

  • Microsoft/TRELLIS.2 – 执行基于多视图扩散的 3D 生成之原始研究代码。
  • ComfyUI – 此封装所挂载的节点式 UI。
  • Pixal3D – 部分节点使用的高质量 3D 模型数据集。

ComfyUI-Trellis2 本质上是一座桥梁,让偏好可视化工作流的艺术家与开发者也能使用 Microsoft 最先进的 3D 扩散管线。它整合了必要的编译扩展,提供丰富的几何处理节点,并附带示例图表,让您能在几分钟内开始生成带纹理的网格。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目