mapillary/seamseg

解决的问题

解决了"全景分割"的挑战，要求模型为图像提供完整的像素级标注，识别出每个物体的类别（是什么物体）以及具体实例（是哪一个个体）。

工作原理

该项目使用 PyTorch 实现的基于 CNN 的架构。其创新的分割头结合了特征金字塔网络（FPN）的多尺度特征与类似 DeepLab 的轻量级模块提供的上下文信息，使网络能够端到端训练，精确预测场景中每个像素的标签。

适用人群

本工具专为从事场景理解的计算机视觉研究人员和开发者设计，尤其适用于城市景观等复杂环境下的全景分割任务。

主要亮点

• 端到端训练：该架构设计为可作为一个整体进行全景分割的端到端训练。
• 多尺度融合：结合 FPN 特征与上下文信息，提升预测精度。
• 数据集支持：包含将 Cityscapes 和 Mapillary Vistas 等主流数据集转换为可用格式的脚本。
• 全面的评估指标：支持使用 mAP、全景质量（PQ）和 mIOU 进行评估。