mapillary/seamseg

해결하는 문제

"패ノ픽 세그멘테이션"의 도전 과제를 해결합니다. 이는 이미지의 모든 픽셀에 대해 객체의 클래스(무엇인지)와 특정 인스턴스(어느 개별 객체인지)를 식별하는 완전한 픽셀 단위의 레이블링을 요구합니다.

작동 방식

이 프로젝트는 PyTorch로 구현된 CNN 기반 아키텍처를 사용합니다. 특징 피라미드 네트워크(FPN)에서 얻은 다중 스케일 특징과 DeepLab과 유사한 경량 모듈을 통해 얻은 문맥 정보를 결합하는 새로운 세그멘테이션 헤드를 특징으로 합니다. 이를 통해 네트워크는 장면 내 모든 픽셀에 대해 정확한 레이블을 예측할 수 있도록 에ンド투에нд로 훈련될 수 있습니다.

대상 사용자

이 도구는 도시 풍경과 같은 복잡한 환경에서 패노픽 세그멘테이션에 초점을 맞춘 시나리오 이해 분야의 컴퓨터 비전 연구자 및 개발자들을 위한 것입니다.

주요 특징

• 에ンド투에енд 훈련: 패노픽 세그멘테이션을 위한 단일 유닛으로 훈련될 수 있도록 설계된 아키텍처입니다.
• 다중 스케일 통합: FPN 특징과 문맥 정보를 결합하여 더 높은 정확도를 달성합니다.
• 데이터셋 지원: Cityscapes 및 Mapillary Vistas와 같은 인기 있는 데이터셋에서 데이터를 변환하는 스크립트를 포함합니다.
• 포괄적인 메트릭: mAP, 패노픽 품질(PQ), mIOU를 사용한 평가를 지원합니다.