Pointcept/Concerto

解决的问题

Concerto 提供了一种通过联合 2D-3D 自监督预训练来学习 3D 点云高质量空间表示的方法。它解决了在无需大量标注 3D 数据的情况下，构建可有效用于各种下游 3D 感知任务的鲁棒 3D 编码器的挑战。

工作原理

Concerto 基于 Point Transformer V3 (PTv3) 架构。它采用源自 Sonata 框架的自监督学习方法，在 2D 和 3D 数据上对模型进行预训练。由此产生的仅编码器模型可用于从 3D 点云（包括坐标、颜色和法线）中提取特征，并将这些特征映射回原始点云尺度以供下游使用。

适用人群

本项目专为从事 3D 计算机视觉、点云分析和空间表示学习的研究人员和开发者设计。

主要亮点

• 联合 2D-3D 预训练：利用两种模态以生成更优的空间表示。
• 多种模型尺寸：提供小型（39M）、基础（108M）和大型（208M）模型的预训练权重。
• 灵活输入：支持含或不含颜色和法线信息的点云。
• 集成可视化：包含 PCA 可视化、相似度热图和语义分割线性探测的演示。