mapillary/seamseg

何を解決するか

パノプティックセグメンテーションの課題に対処します。これは、画像のすべてのピクセルに対して、物体のクラス（何の物体か）と特定のインスタンス（どの個体か）を識別する完全なピクセル単位のラベル付けを要求します。

動作方法

このプロジェクトは、PyTorchで実装されたCNNベースのアーキテクチャを使用しています。特徴ピラミッドネットワーク（FPN）からのマルチスケール特徴と、DeepLabに類似した軽量モジュールによる文脈情報の組み合わせを特徴とする新しいセグメンテーションヘッドを備えています。これにより、シーン内のすべてのピクセルに対して正確なラベルを予測できるエンドツーエンドの学習が可能になります。

対象ユーザー

このツールは、特に都市景観のような複雑な環境におけるパノプティックセグメンテーションに注力する、シーン理解の分野で研究や開発を行うコンピュータビジョン研究者や開発者向けです。

特徴

• エンドツーエンド学習: パノプティックセグメンテーション用に単一のユニットとして学習できるアーキテクチャです。
• マルチスケール統合: FPNの特徴と文脈情報を組み合わせ、より高い精度を実現します。
• データセット対応: CityscapesやMapillary Vistasなどの人気データセットからのデータ変換スクリプトを含んでいます。
• 包括的なメトリクス: mAP、パノプティック品質（PQ）、mIOUを用いた評価をサポートしています。