PAIR-code/what-if-tool

解决的问题

What-If Tool (WIT) 提供了一个可视化界面，用于分析和理解“黑盒”机器学习模型。它允许用户在无需编写任何代码的情况下探索模型在数据集上的行为，从而更轻松地调试模型性能、调查公平性，并理解特定特征对预测的影响。

运作方式

WIT 作为 TensorBoard、Jupyter 或 Colab notebooks 的插件集成。它连接到已训练的 ML 模型（通过 TensorFlow Estimators、TensorFlow Serving、AI Platform Prediction 或自定义的 Python 预测函数）以及示例数据集。

用户可以通过多种方式与数据和模型交互：

• 可视化 (Visualization)：使用 Facets Dive 根据特征或推理结果来组织和切分数据集。
• 反事实 (Counterfactuals)：在数据集中寻找导致不同分类的最相似示例，以查看是什么改变了结果。
• 手动编辑 (Manual Editing)：允许用户在浏览器中编辑特定数据点的特征值，并立即重新执行推理以查看预测如何变化。
• 性能分析 (Performance Analysis)：生成 ROC 曲线和混淆矩阵，这些曲线和矩阵可以按特定特征（例如性别）进行切分，以分析不同数据子集的公平性和性能。
• 归因 (Attribution)：可视化特征归因值（例如来自 SHAP 或 Integrated Gradients），以显示哪些特征对预测影响最大。

目标受众

• ML 研究人员与开发人员：用于调试异常结果并调查模型公平性。
• 非技术利益相关者：使用他们自己的数据来了解模型在数据集上的性能。
• 一般用户：通过交互式探索来学习机器学习。

特色亮点

• 无代码界面：无需编写代码即可可视化探索模型和数据。
• 反事实探索：一键比较具有不同分类的最接近示例。
• 公平性工具：可切分的 ROC 曲线和混淆矩阵，用于检测偏差。
• 交互式编辑：实时编辑数据点，查看模型输出的立即变化。
• 模型比较：能够比较两个不同模型在相同输入数据上的结果。