frgfm/torch-cam

해결하는 문제

TorchCAM은 PyTorch에서 사용되는 합성곱 신경망(CNN)과 비전 트랜스포머(ViT)의 클래스별 활성화를 시각화하고 분석하는 간단한 방법을 제공합니다. 모델이 특정 예측을 내릴 때 이미지의 어떤 부분에 주목하고 있는지 시각화함으로써 예상치 못한 분류 결과를 디버깅하는 데 도움을 줍니다.

작동 방식

이 라이브러리는 모델 아키텍처를 수정하지 않고도 내부 활성화를 가져오기 위해 PyTorch의 훅 메커니즘을 사용합니다. Grad-CAM, Layer-CAM, LeGrad를 포함한 12가지의 클래스 활성화 맵(CAM) 방법을 지원하여 원본 입력 이미지 위에 겹쳐 표시할 수 있는 히트맵을 생성합니다. 또한 모델의 결정 과정을 얼마나 정확히 반영하는지 측정할 수 있는 내장된 신뢰도 메트릭(예: 신뢰도 평균 감소 및 증가)도 포함되어 있습니다.

대상 사용자

컴퓨터 비전 모델을 사용하는 PyTorch 사용자 중, 모델의 예측을 해석하고 오류 분석을 수행하며 시각적 단서의 중요성을 검증하고자 하는 분들께 적합합니다.

주요 특징

• 풍부한 방법 라이브러리: 단일 통합 API를 통해 12가지 CAM 방법을 지원합니다.
• 광범위한 아키텍처 지원: CNN과 비전 트랜스포머(ViT) 모두 지원합니다.
• 신뢰도 메트릭: 활성화 맵의 신뢰성을 정량적으로 측정할 수 있는 도구를 제공합니다.
• 에이전트 호환: explain() 함수는 인간이나 코드 에이전트가 검증할 수 있는 증거 번들을 생성합니다.
• 경량 종속성: PyTorch, NumPy, Pillow, Matplotlib만 필요합니다.