shap/shap

무엇을 해결하는가

SHAP (SHapley Additive exPlanations)는 어떤 모델의 출력을 설명할 수 있는 방법을 제공함으로써 기계학습의 '블랙 박스' 문제를 해결합니다. 사용자가 특정 예측에 기여한 정확한 특성들을 이해할 수 있게 해주며, 단순한 예측에서 그 예측이 왜 이루어졌는지에 대한 투명한 설명으로 전환시킵니다.

어떻게 작동하는가

SHAP는 Shapley 값에 기반한 게임 이론적 접근 방식을 사용하여 입력 특성 간에 "공로"를 할당합니다. 각 특성이 모델 출력이 평균 기본값에서 얼마나 벗어나게 하는지를 계산합니다. 모델 유형에 따라 다른 알고리즘을 사용합니다:

• TreeExplainer: 트리 앙상블(XGBoost, LightGBM, CatBoost, scikit-learn, pyspark)에 대한 고속 정확 알고리즘.
• DeepExplainer: DeepLIFT 기반의 고속 근사 알고리즘, 딥러닝 모델(TensorFlow/Keras, PyTorch)용.
• GradientExplainer: 기대 기울기를 사용하여 딥러닝 모델의 SHAP 값을 근사합니다.
• LinearExplainer: 선형 모델에 대해 정확한 값을 분석적으로 계산합니다.
• KernelExplainer: 모델 무관 방법으로, 임의의 함수에 대한 값을 추정하기 위해 가중치가 부여된 지역 선형 회귀를 사용합니다.

누구를 위한가

디버깅, 감사 또는 이해관계자에게 결과를 전달하기 위해 모델 예측을 해석해야 하는 데이터 과학자 및 ML 엔지니어를 위한 것입니다.

주요 기능

• 일반 호환성: 트리 기반 모델, 딥 뉴럴 네트워크, Hugging Face transformers를 통한 자연어 처리 모델 포함, 모든 기계학습 모델과 호환됩니다.
• 다양한 시각화: 워터폴 플롯, 포스 플롯, 비즈웜 플롯, 산점도 등 특성 중요도와 상호작용을 시각화하는 도구를 포함합니다.
• GPU 가속: Tree SHAP 계산을 더 빠르게 하기 위해 CUDA를 지원합니다.
• 상호작용 값: 쌍별 상호작용 효과를 계산하여 특성 간 숨겨진 관계를 드러낼 수 있습니다.

모델의 예측을 설명하는 데 있어 가장 중요한 것은, 어떤 특성이 예측에 기여했는지를 명확히 파악하는 것입니다 — @jakevdp