MigoXLab/dingo
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
What it solves
Dingo 是一款综合评估工具，旨在评估并提升 AI 数据、模型和应用的质量。它解决了确保 LLM 高质量训练数据、验证微调数据集以及检测生产环境 RAG（检索增强生成）系统中幻觉的难题。
How it works
它采用混合评估策略，结合快速、确定性的基于规则的检查（启发式和正则表达式）与使用 LLM 和 AI 代理的深度语义分析。该工具可以连接各种数据源——包括本地文件、SQL 数据库、HuggingFace 数据集和 S3 存储，并可使用本地执行器进行快速迭代，或使用 Spark 执行器处理十亿级规模的数据集。它支持多字段评估，允许在一次运行中对不同字段应用不同的质量规则。
Who it’s for
适用于需要系统性验证数据集并监控 AI 系统在生产环境可靠性的机器学习从业者、数据工程师和 AI 研究人员。
Highlights
- Hybrid Evaluation: 结合 30 多条内置规则、基于 LLM 的深度评估和代理推理，实现多步骤事实验证。
- RAG Assessment: 提供五项学术支撑的指标（Faithfulness、Answer Relevancy、Context Precision、Context Recall 和 Context Relevancy）来评估检索和生成质量。
- Enterprise Data Integration: 支持对大规模 SQL 数据库的内存高效流式处理，并直接集成 HuggingFace 与 S3。
- Extensible Architecture: 具备插件系统，可注册自定义规则、提示词和模型，无需修改核心代码库。
- MCP Server: 包含内置的 Model Context Protocol 服务器，可与 Cursor、Claude Desktop 等 AI IDE 集成。