prs-eth/LitePT

解決する課題

LitePTは、3Dポイントクラウドアーキテクチャの高い計算コストとメモリ要件に取り組み、特にPoint Transformer V3 (PTv3) の非効率性をターゲットにしています。精度を損なうことなく、はるかに軽量で高速な高性能代替ソリューションを提供します。

動作方法

LitePTは、複数のスケール（Small、Base、Large）で利用可能な軽量な3Dポイントクラウドアーキテクチャです。最大のパフォーマンスを実現するCUDA最適化版と、より広範な互換性を提供する純粋なPyTorch実装の両方を備えた、特殊なコンポーネント「PointROPE」を採用しています。パラメータ数とメモリ使用量の面でより効率的でありながら、最先端のバックボーンと同等またはそれ以上の性能を維持または上回るように設計されています。

対象ユーザー

このプロジェクトは、3Dコンピュータビジョンに取り組む研究者や開発者向けであり、特に3Dポイントクラウドにおけるセマンティックセグメンテーション、インスタンスセグメンテーション、オブジェクト検出に注力している方々を対象としています。

主な特徴

• 高い効率性: LitePT-SはPTv3と比較してパラメータ数が3.6倍少なく、実行時間は2倍速く、メモリ使用量は2倍低いです。
• スケーラブルなパフォーマンス: 大規模バージョン（LitePT-L）でも、パラメータ数が多くてもPTv3よりもメモリ効率が良いです。
• 多様な応用: NuScenes、Waymo、ScanNet、Structured3Dなどのベンチマークで、セマンティックセグメンテーション、インスタンスセグメンテーション、オブジェクト検出をサポートしています。
• 柔軟な統合: シンプルな実装とデモスクリプトを提供し、外部プロジェクトへの容易な統合を可能にしています。