apple-aiml-research/ml-matrix3d

解决的问题

Matrix3D 提供了一个统一的摄影测量模型，无需再依赖多个专用模型来处理不同的3D视觉任务。用户可以在单一框架内执行姿态估计、深度预测和新视角合成，即使从无姿态图像或单视图开始也可以。

工作原理

该系统使用一个大型摄影测量模型，通过掩码推理动态切换或组合不同任务。通过操作模态标志和视图标识符，模型可以处理各种输入状态（如单张图像或多张已定位图像），以预测3D属性。这些输出随后可输入到修改后的3D高斯溅射（3DGS）管道中，生成完整的3D重建。

适用人群

本工具专为从事计算机视觉和3D重建的研究人员及开发者设计，适用于需要从有限图像数据中灵活估计相机姿态、预测深度或合成新视角的用户。

主要亮点

• 一体化架构：单一模型即可处理姿态估计、深度预测和新视角合成。
• 灵活输入：支持从单视图到3D重建，再到无姿态少样本3D重建的任务。
• 3DGS集成：包含修改后的3D高斯溅射（3DGS）管道，将模型预测转化为3D场景。
• 掩码推理：可根据输入配置动态组合摄影测量子任务。