yuxumin/PoinTr

[ICCV 2021 Oral] PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers

What it solves

PoinTrは、点群補完の問題に対処しています。これは、モデルが不完全または部分的な点群から3Dオブジェクトの欠損部分を予測しなければならない問題です。特に、点群が著しく不完全である可能性のある、多様で困難な現実世界のシナリオを扱うことを目的としています。

How it works

PoinTrは、Transformerベースのアーキテクチャを使用しています。点群を、位置エンコーディング（position embeddings）を持つ順序のない点のグループの集合として表現します。これらは一連連の点プロキシ（point proxies）のシーケンスに変換され、その後、Transformerエンコーダ・デコーダ・アーキテクチャを通じて処理され、完全な3D形状を生成します。

Who it’s for

このツールは、3Dコンピュータビジョン、ロボティクス、幾何学的なディープラーニングに取り組む研究者や開発者で、部分的なセンサーデータから完全な3Dオブジェクトを再構成する必要がある人々を向けた設計になっています。

Highlights

  • Geometry-Aware Transformers: Transformerエンコーダ・デコーダを利用して、補完された点群を生成します。
  • Diverse Benchmarks: ShapeNet-55およびShapeNet-34データセットを導入し、、現実世界の不完全な点群シナリオをより良く反映するようにしています。
  • AdaPoinTr: 最先端の性能を実現するために、Adaptive Denoising Queriesを特徴とする高度なバージョンが含まれています。
  • Baseline Implementations: 比較のために、GRNet, PCN, TopNet, および FoldingNet の PyTorch 実装を提供しています。