facebookresearch/meshflow

解决的问题

MeshFlow 旨在快速生成高质量的艺术化 3D 网格。它解决了创建看起来像专业制作的详细 3D 几何体的挑战，将每个网格的生成时间缩短至约一秒。

工作原理

该系统使用结合了变分自编码器 (VAE) 和 Diffusion Transformer (DiT) 的两部分架构：

• MeshVAE: 将网格的拓扑结构编码到连续的潜在空间中，并将其解码回顶点、法线和邻接信息。
• MeshFlowDiT: 一个在这些潜在变量上运行的 flow-matching Diffusion Transformer。它可以基于输入几何体（使用 voxel RoPE）和可选的参考图像（使用 DINOv3 视觉编码器）进行条件化。
• 流水线: 端到端的过程包括表面采样、潜在空间中的 flow matching 以及通过 VAE 进行的最终解码。

适用对象

该工具适用于 3D 艺术家、计算机视觉研究人员以及正在构建需要从几何体或图像参考快速生成高保真 3D 网格应用的开发人员。

亮点

• 高速: 在约一秒内生成艺术网格。
• 灵活的条件化: 支持基于几何体的条件化和基于参考图像的条件化。
• DINOv3 集成: 使用图像时，通过集成 DINOv3 来获取高质量的视觉 token。
• 分辨率控制: 包含一个大致控制生成网格中顶点数量的机制。