pytorch-grad-cam: 一個用於解釋電腦視覺模型預測的像素歸因方法完整集合

它解決了什麼問題

這個專案提供了一套完整的電腦視覺像素歸因（Pixel Attribution）方法，讓開發者和研究人員能夠診斷模型預測，並了解影像中的哪些部分導致了特定的輸出。它將深度學習模型的「黑箱」特性轉化為視覺化解釋（Class Activation Maps），使在生產環境或開發過程中除錯模型變得更加容易。

運作原理

此函式庫實現了多種最先進的可解釋性方法（例如 GradCAM、HiResCAM、ScoreCAM 和 EigenCAM），這些方法會分析 PyTorch 模型的激活值（activations）與梯度（gradients）。它透過兩個主要概念來支援靈活的架構：

• Reshape Transforms：將模型內部的激活值（在 CNNs 和 Vision Transformers 之間可能有所不同）轉換為空間影像格式。
• Model Targets：可調用的對象，用於過濾模型輸出，以隔離出需要解釋的特定純量值（例如特定的類別範疇）。

對象是誰

• AI 研究人員：開發新可解釋性方法或對現有方法進行基準測試的人員。
• ML 工程師：在電腦視覺任務中需要診斷並信任模型預測的開發者。
• 資料科學家：從事分類、物件偵測、語義分割或嵌入相似度（embedding similarity）工作的用戶。

重點特色

• 廣泛的方法支援：包含從基於梯度的（GradCAM++）到無梯度的（AblationCAM、ScoreCAM）等大量技術。
• 架構無關性：適用於常見的 CNNs 和 Vision Transformers (ViT, SwinT)。
• 任務多樣性：支援分類、物件偵測、語義分割以及 CLIP 文字提示（text-prompt）解釋。
• 評估指標：包含內建指標（例如 ROAD 和 ARCC），用於定量檢查解釋是否值得信賴。
• 降噪處理：提供平滑化方法（aug_smooth 和 eigen_smooth）以產生更乾淨、更聚焦的視覺化結果。