deel-ai/xplique

解决的问题

Xplique 是一个 Python 工具包，旨在解决复杂神经网络模型的“黑盒子”问题。它提供了一套全面的工具，帮助开发者和研究人员理解模型如何做出决策、为什么产生特定的输出，以及它们优先考虑哪些特征。

运作方式

该函数库分为几个专门的模块，应用不同的可解释性技术：

• 归因方法 (Attributions Methods)：实现了 Grad-CAM、Saliency 和 Integrated Gradients 等技术，以突显输入（图像、表格数据或时间序列）中哪些部分对模型的预测影响最大。
• 特征可视化 (Feature Visualization)：生成能最大化特定神经元、通道或层激活的输入，以揭示网络“学会”识别的内容。
• 概念 (Concepts)：从模型中提取人类可理解的概念（使用 CAV 和 CRAFT 等方法），以测试这些概念对于特定类别是否有效。
• 指标 (Metrics)：提供评估归因方法所产生解释的忠实度和质量的工具。
• 基于示例 (Example-based)：通过从数据集中检索相似、对比（反事实）或原型示例来解释模型行为。

目标受众

主要针对使用 TensorFlow（与 2.15 或更早版本兼容性最佳）或 PyTorch（通过实用封装）的 AI 从业人员和研究人员，他们需要审计、调试或解释神经网络的内部逻辑。

特色亮点

• 广泛的任务支持：适用于分类、回归、对象检测和语义分割。
• 多样的数据模态：支持图像、时间序列和表格数据。
• 框架灵活性：原生支持 TensorFlow，并提供 PyTorch 集成封装。
• 全面的工具集：在一个函数库中结合了归因、可视化、概念提取和定量指标。