TencentARC/Pixal3D

解決的問題

Pixal3D 解決了從單張影像生成 3D 資產時精度不足的問題。以往的方法通常粗略地注入影像特徵，而 Pixal3D 透過建立像素與 3D 空間之間的直接對應關係，確保高保真度的幾何結構與 PBR 紋理。

工作原理

該系統採用三階段級聯，逐步提升解析度：

1. 稀疏結構：生成初始粗略結構（32 到 64 解析度）。
2. 形狀：優化幾何結構（256 到 1024 解析度）。
3. 紋理：添加詳細的 PBR 紋理（256 到 1024 解析度）。

它透過顯式地將像素特徵透過反投影提升至 3D 空間來實現，而非依賴注意力機制。支援單張影像或同一物件的多視角輸入，使用獨立的多視角權重。

適用對象

• 3D 藝術家與設計師：從 2D 影像快速生成高品質 3D 資產。
• AI 研究人員：從事 3D 生成與像素對齊投影條件研究的學者。
• 開發者：希望使用提供的 Gradio 網頁示範或 ComfyUI 擴充功能，將 3D 生成整合至工作流程中的使用者。

核心亮點

• 像素對齊投影：建立像素與 3D 空間之間的直接對應關係，實現接近重建級別的保真度。
• 多視角支援：可基於同一物件的多張影像進行條件生成，提升準確性。
• PBR 紋理：生成帶有詳細物理渲染紋理的資產。
• 級聯訓練：結構化的三階段流程，從稀疏結構逐步擴展至高解析度紋理。
• 低顯存模式：提供降低峰值記憶體使用量的選項，便於在消費級硬體上運行。