PAIR-code/lit

解决的问题

LIT 提供了一种视觉化、交互式的方式来理解和调试机器学习模型。它帮助开发者识别模型表现不佳的位置，理解特定预测的原因，并测试模型在不同输入数据变体下的行为是否一致。

工作原理

LIT 作为一个基于浏览器的 UI 运行，可以作为独立服务器运行，也可以集成到 Colab 和 Jupyter 等笔记本环境中。它与框架无关，支持 TensorFlow 和 PyTorch。用户可以通过工具的 API 使用自定义数据加载器和模型包装器连接自己的模型和数据集。

适用人群

需要在分类、回归和语言建模等各种任务中，对文本、图像和表格数据上的同一模型性能进行分析和解释的机器学习工程师和研究人员。

主要亮点

• 局部解释：使用显著性图和丰富的可视化来解释单个预测。
• 聚合分析：支持切片、分箱和嵌入空间可视化，以大规模分析模型行为。
• 反事实生成：允许用户手动编辑输入，或使用插件创建新示例以进行动态评估。
• 并排比较：可比较多个模型或单个模型对不同示例的响应。
• 可扩展架构：兼容多种模型类型（如 seq2seq、跨度标注等），并支持多头模型。