shap/shap

它解決的問題

SHAP (SHapley Additive exPlanations) 透過提供一種解釋任何模型輸出的方法，解決了機器學習中的「黑箱」問題。它讓使用者能夠清楚了解是哪些特徵對特定預測有所貢獻，從單純的預測進階到透明地解釋為何會產生該預測。

它如何運作

SHAP 使用基於 Shapley 值的博弈論方法，將「信用」分配給輸入特徵。它計算每個特徵使模型輸出偏離平均基準值的程度。根據模型類型，它會使用不同的演算法：

• TreeExplainer: 針對樹狀集成模型（XGBoost、LightGBM、CatBoost、scikit-learn、pyspark）的高速精確演算法。
• DeepExplainer: 基於 DeepLIFT 的高速近似演算法，適用於深度學習模型（TensorFlow/Keras、PyTorch）。
• GradientExplainer: 使用期望梯度來近似深度學習模型的 SHAP 值。
• LinearExplainer: 解析計算線性模型的精確值。
• KernelExplainer: 一種模型無關的方法，使用加權局部線性迴歸來估計任何函數的值。

適用對象

需要解釋模型預測結果以進行除錯、審計或向利益相關者溝通結果的資料科學家和機器學習工程師。

主要特色

• 通用相容性: 可與任何機器學習模型搭配使用，包括樹狀模型、深度神經網絡，以及透過 Hugging Face transformers 使用的自然語言處理模型。
• 多樣化的視覺化: 包含瀑布圖、力量圖、蜂群圖和散點圖，用以視覺化特徵重要性與互動關係。
• GPU 加速: 支援 CUDA，以加快 Tree SHAP 的計算速度。
• 互動值: 可計算成對互動效應，以揭示特徵之間的隱藏關係。