facebookresearch/meshflow

解決的問題

MeshFlow 旨在快速生成高品質的藝術化 3D 網格。它解決了創建看起來像專業製作的詳細 3D 幾何體的挑戰，將每個網格的生成時間縮短至約一秒。

工作原理

該系統使用結合了變分自編碼器 (VAE) 和 Diffusion Transformer (DiT) 的兩部分架構：

• MeshVAE: 將網格的拓撲結構編碼到連續的潛在空間中，並將其解碼回頂點、法線和鄰接資訊。
• MeshFlowDiT: 一個在這些潛在變量上運行的 flow-matching Diffusion Transformer。它可以基於輸入幾何體（使用 voxel RoPE）和可選的參考圖像（使用 DINOv3 視覺編碼器）進行條件化。
• 流水線: 端到端的過程包括表面採樣、潛在空間中的 flow matching 以及透過 VAE 進行的最終解碼。

適用對象

該工具適用於 3D 藝術家、電腦視覺研究人員以及正在構建需要從幾何體或圖像參考快速生成高保真 3D 網格應用的開發人員。

亮點

• 高速: 在約一秒內生成藝術網格。
• 靈活的條件化: 支持基於幾何體的條件化和基於參考圖像的條件化。
• DINOv3 集成: 使用圖像時，透過集成 DINOv3 來獲取高品質的視覺 token。
• 解析度控制: 包含一個大致控制生成網格中頂點數量的機制。