torch-points3d/torch-points3d

何を解決するか

torch-points3d は、3D点群分析のための一般的な深層学習モデルを実行・ベンチマークするプロセスを簡素化するフレームワークです。3D点群における深層学習をよりアクセスしやすくするために、高レベルのAPIを提供し、複雑なモデルを最小限の努力で構築し、高い再現性を確保します。

仕組み

PyTorch Geometric と Facebook Hydra の上に構築されたこのフレームワークは、タスクごとにモデルとデータセットを整理しています。分類、セマンティックセグメンテーション、オブジェクト検出、パンタキシックセグメンテーション、および登録など、幅広い3D分析タスクをサポートしています。

主な技術的機能:

• スパース畳み込みのサポート: Minkowski Engine および torchsparse との統合により、効率的な3D畳み込みを実現。
• 事前学習モデルレジストリ: 事前学習済みモデルを簡単に共有・WandBにアップロード・再作成でき、ファインチューニングや本番環境に活用可能。
• モジュールアーキテクチャ: コアコンポーネント、データセット、メトリクス、モデルを分離し、提供されたモジュールを使ってカスタムネットワークを構成可能。

対象ユーザー

3Dコンピュータビジョンおよび点群データを扱う研究者や開発者で、最先端の3D深層学習アーキテクチャを実装・学習・評価するための標準化された環境が必要な方。

特徴

• 広範なモデルライブラリ: PointNet、PointNet++、RandLA-Net、KPConv、VoteNet など多数のアーキテクチャを実装。
• HuggingFace風の体験: PretrainedRegistry を使用すると、数行のコードで事前学習済み重みと変換をダウンロード・利用可能。
• 広範なデータセットサポート: ScanNet、S3DIS、ShapeNet、ModelNet などのベンチマークに対応する組み込みサポート。
• ミックスドプレシジョン学習: torchsparseバックエンドを介して float16 演算をサポートし、GPUメモリ使用量を削減し、速度を向上。