frgfm/torch-cam

解決的問題

TorchCAM 提供了一種簡單的方法，用於可視化與探索 PyTorch 模型中卷積層的類別特定激活。透過產生熱力圖，突出顯示模型在做出特定預測時關注影像的哪些部分，幫助開發者調試出人意料的分類結果。

工作原理

該庫使用 PyTorch 的鈎子機制，無需修改模型架構即可取得內部模型資訊。CAM 提取器作為模型的包裝器；當模型進行推論時，提取器會捕獲必要的激活。使用者隨後指定一個類別索引以產生激活圖，該圖可作為原始熱力圖可視化，或疊加在原始影像上。

適用對象

專為使用 PyTorch 基礎電腦視覺模型並需要解釋模型決策過程的研究人員與開發者設計。

主要亮點

• 豐富的方法庫：實作了多種 CAM 技術，包括 Grad-CAM、Grad-CAM++、Score-CAM、Layer-CAM 以及適用於 Vision Transformers 的 LeGrad。
• 無縫整合：使用鈎子機制作為現有 PyTorch 模型的包裝器，幾乎無需修改程式碼。
• Hugging Face Space：包含一個即時示範應用，用於測試不同的 CAM 方法。
• 性能基準測試：提供各種方法在分類置信度與延遲開銷方面的詳細指標。
• 廣泛相容性：支援標準卷積層、Vision Transformers、3D/影片資料以及批次輸入。