pytorch-grad-cam: 컴퓨터 비전 모델 예측을 설명하기 위한 픽셀 속성 부여 방법의 종합 컬렉션

해결하는 문제

이 프로젝트는 컴퓨터 비전 분야를 위한 픽셀 속성 부여(Pixel Attribution) 방법의 종합적인 컬렉션을 제공하여, 개발자와 연구자가 모델 예측을 진단하고 이미지의 어느 부분이 특정 출력으로 이어지는지 이해할 수 있도록 합니다. 딥러닝 모델의 "블랙박스" 특성을 시각적 설명(Class Activation Maps)으로 변환하여, 운영 환경이나 개발 중에 모델을 디버깅하기 쉽게 만듭니다.

작동 방식

이 라이브러리는 PyTorch 모델의 활성화(activations)와 그래디언트(gradients)를 분석하는 다양한 최첨단 설명 가능성(explainability) 방법(예: GradCAM, HiResCAM, ScoreCAM, EigenCAM 등)을 구현합니다. 두 가지 주요 개념을 통해 유연한 아키텍처를 지원합니다:

• Reshape Transforms: 내부 모델 활성화(CNN과 Vision Transformers 간에 다를 수 있음)를 공간적 이미지 형식으로 변환합니다.
• Model Targets: 설명이 필요한 특정 스칼라 값(예: 특정 클래스 카테고리)을 분리하기 위해 모델 출력을 필터링하는 호출 가능한(callables) 객체입니다.

대상 사용자

• AI 연구자: 새로운 설명 가능성 방법을 개발하거나 기존 방법을 벤치마킹하는 사람.
• ML 엔지니어: 컴퓨터 비전 작업에 대한 모델 예측을 진단하고 신뢰해야 하는 개발자.
• 데이터 과학자: 분류, 객체 탐지, 시맨틱 세그멘테이션 또는 임베딩 유사성을 다루는 사용자.

주요 특징

• 광범위한 방법 지원: 그래디언트 기반(GradCAM++)부터 그래디언트 프리(AblationCAM, ScoreCAM) 방식까지 방대한 기술을 포함합니다.
• 아키텍처에 구애받지 않음: 일반적인 CNN과 Vision Transformers (ViT, SwinT)에서 작동합니다.
• 작업의 다재다능함: 분류, 객체 탐지, 시맨틱 세그멘테이션, 그리고 CLIP 텍스트 프롬프트 설명을 지원합니다.
• 평가 지표: 설명이 신뢰할 수 있는지 정량적으로 확인하기 위한 내장 지표(ROAD 및 ARCC 등)를 포함합니다.
• 노이즈 감소: 더 깨끗하고 집중된 시각화를 생성하기 위한 평활화(smoothing) 방법(aug_smooth 및 eigen_smooth)을 제공합니다.