mapillary/seamseg

解決的問題

解決「全景分割」的挑戰，要求模型為影像提供完整的像素級標記，識別出物件的類別（是什麼物件）以及特定實例（是哪一個個體）。

工作原理

本專案使用 PyTorch 實作的基於 CNN 的架構。其創新之分割頭結合了特徵金字塔網路（FPN）的多尺度特徵與類似 DeepLab 的輕量模組所取得的上下文資訊，使網路能端對端訓練，精確預測場景中每個像素的標籤。

適用對象

本工具專為從事場景理解的電腦視覺研究人員與開發者設計，特別適用於城市景觀等複雜環境下的全景分割任務。

主要亮點

• 端對端訓練：此架構設計為可作為單一單元進行全景分割的端對端訓練。
• 多尺度整合：結合 FPN 特徵與上下文資訊，提升預測準確度。
• 資料集支援：包含將 Cityscapes 與 Mapillary Vistas 等主流資料集轉換為可用格式的指令碼。
• 全面的評估指標：支援使用 mAP、全景品質（PQ）與 mIOU 進行評估。