Pointcept/Concerto

解決的問題

Concerto 提供了一種透過聯合 2D-3D 自監督預訓練來學習 3D 點雲高品質空間表示的方法。它解決了在不需要大量標註 3D 數據的情況下，建構可有效應用於各種下游 3D 認知任務的穩健 3D 編碼器的挑戰。

工作原理

Concerto 基於 Point Transformer V3 (PTv3) 架構。它採用源自 Sonata 框架的自監督學習方法，在 2D 與 3D 數據上對模型進行預訓練。由此產生的僅編碼器模型可從 3D 點雲（包含座標、顏色與法線）中提取特徵，並將這些特徵映射回原始點雲尺度以供下游使用。

適用對象

本專案專為從事 3D 電腦視覺、點雲分析與空間表示學習的研究人員與開發者設計。

主要亮點

• 聯合 2D-3D 預訓練：利用兩種模態以產生更優的空間表示。
• 多種模型尺寸：提供小型（39M）、基礎（108M）與大型（208M）模型的預訓練權重。
• 靈活輸入：支援含或不含顏色與法線資訊的點雲。
• 整合式可視化：內建 PCA 可視化、相似度熱圖與語意分割線性探測的示範。