TencentARC/Pixal3D

解决的问题

Pixal3D 解决了从单张图像生成 3D 资产时精度不足的问题。以往的方法通常粗略地注入图像特征，而 Pixal3D 通过建立像素与 3D 空间之间的直接对应关系，确保高保真度的几何结构和 PBR 纹理。

工作原理

该系统采用三阶段级联，逐步提高分辨率：

1. 稀疏结构：生成初始粗略结构（32 到 64 分辨率）。
2. 形状：优化几何结构（256 到 1024 分辨率）。
3. 纹理：添加详细的 PBR 纹理（256 到 1024 分辨率）。

它通过显式地将像素特征通过反投影提升到 3D 空间来实现，而非依赖注意力机制。支持单张图像或同一物体的多视角输入，使用独立的多视角权重。

适用人群

• 3D 艺术家和设计师：从 2D 图像快速生成高质量 3D 资产。
• AI 研究人员：从事 3D 生成和像素对齐投影条件研究的人员。
• 开发者：希望使用提供的 Gradio 网页演示或 ComfyUI 扩展将 3D 生成集成到工作流中的用户。

核心亮点

• 像素对齐投影：建立像素与 3D 空间之间的直接对应关系，实现接近重建级别的保真度。
• 多视角支持：可基于同一物体的多张图像进行条件生成，提升准确性。
• PBR 纹理：生成带有详细物理渲染纹理的资产。
• 级联训练：结构化的三阶段流程，从稀疏结构逐步扩展到高分辨率纹理。
• 低显存模式：提供降低峰值内存使用量的选项，便于在消费级硬件上运行。