Pointcept/Utonia

解决的问题

Utonia 提供了一个跨域预训练的3D点云编码器，旨在创建一个单一的通用编码器，能够应用于不同领域（如室内、室外和物体级数据）的各种下游3D任务，而无需使用单独的专用模型。

工作原理

基于 Point Transformer V3 (PTv3) 架构，并从 Sonata 和 Concerto 框架中修改而来。该模型作为仅编码器系统，接收3D点云数据（坐标、颜色和法线），并生成分层编码特征。这些特征可映射回原始点云尺度，用于语义分割或可视化等任务。

适用人群

从事3D计算机视觉的研究人员和开发者，特别是需要高质量预训练表示进行点云分析、语义分割和3D场景理解的用户。

主要亮点

• 跨域能力：专为在多种3D数据集（室内、室外和物体）上运行而设计。
• 推理演示：包含用于PCA可视化、相似性热图和语义分割的即用型脚本。
• 灵活集成：提供独立模式用于快速测试，以及包模式用于集成到现有代码库中。
• 视频支持：可与 VGGT 配合使用，处理从视频中提取的点云。