segmentation_models.pytorch: 800개 이상의 사전 학습된 인코더를 제공하는 이미지 시맨틱 세그멘테이션을 위한 고수준 PyTorch 라이브러리

해결하는 문제

이 라이브러리는 이미지 시맨틱 세그멘테이션을 구현하는 간소화된 방법을 제공하여, 복잡한 인코더-디코더 아키텍처를 처음부터 수동으로 구축할 필요를 없애줍니다. 이미지 내의 특정 객체를 식별하고 윤곽을 그릴 수 있는 신경망을 선택, 초기화 및 학습시키는 과정을 단순화합니다.

작동 방식

이 라이브러리는 PyTorch를 감싸는 고수준 래퍼(wrapper) 역할을 하여, 사용자가 사전 학습된 인코더(backbone)와 특정 디코더 아키텍처를 결합하여 세그멘테이션 모델을 생성할 수 있도록 합니다. 인코더에서 중간 특징(intermediate features)을 추출하여 디코더에 전달함으로써 세그멘테이션 마스크를 생성합니다. 또한 인기 있는 세그멘테이션 지표 및 손실 함수(Dice 및 Jaccard 등)에 대한 내장 지원을 포함하며, 배포를 위한 ONNX export를 지원합니다.

대상 사용자

컴퓨터 비전 작업을 수행하는 개발자와 연구자, 특히 배경 제거 또는 의료 영상과 같은 애플리케이션을 위해 이진 또는 다중 클래스 이미지 세그멘테이션을 수행해야 하는 분들을 위해 설계되었습니다.

주요 특징

• 광범위한 모델 라이브러리: Unet, Unet++, Segformer, DeepLabV3+를 포함한 12가지의 서로 다른 인코더-디코더 아키텍처를 지원합니다.
• 방대한 인코더 선택지: timm 라이브러리 지원을 포함하여 800개 이상의 사전 학습된 인코더를 제공합니다.
• 쉬운 통합: 고수준 API를 통해 단 두 줄의 코드로 전체 신경망을 생성할 수 있습니다.
• 유연한 설정: 사용자 정의 입력 채널(예: 그레이스케일 이미지용) 및 선택적인 보조 분류 출력(auxiliary classification outputs)을 지원합니다.
• 배포 준비 완료: torch script, trace, compile 및 ONNX export와 호환됩니다.