MigoXLab/dingo
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
What it solves
Dingo 是一個綜合性的評估工具，旨在評估與提升 AI 資料、模型與應用的品質。它解決了確保 LLM 高品質訓練資料、驗證微調資料集，以及偵測生產環境 RAG（檢索增強生成）系統中幻覺的挑戰。
How it works
它採用混合評估策略，結合快速、確定性的規則式檢查（啟發式與正則表達式）與使用 LLM 與 AI 代理人的深度語意分析。此工具可連接各種資料來源——包括本機檔案、SQL 資料庫、HuggingFace 資料集與 S3 儲存，並可使用本機執行器進行快速迭代，或使用 Spark 執行器處理千億規模資料集。它支援多欄位評估，允許在單一次執行中對不同欄位套用不同的品質規則。
Who it’s for
適用於需要系統性驗證資料集並監控 AI 系統在生產環境可靠性的機器學習從業者、資料工程師與 AI 研究人員。
Highlights
- Hybrid Evaluation: 結合 30 多項內建規則、基於 LLM 的深度評估與代理人推理，以進行多步驟事實驗證。
- RAG Assessment: 提供五項學術支援的指標（Faithfulness、Answer Relevancy、Context Precision、Context Recall 與 Context Relevancy）來評估檢索與生成品質。
- Enterprise Data Integration: 支援對大型 SQL 資料庫的記憶體有效串流，並直接整合 HuggingFace 與 S3。
- Extensible Architecture: 具備插件系統，可註冊自訂規則、提示詞與模型，無需修改核心程式碼。
- MCP Server: 內建 Model Context Protocol 伺服器，可與 Cursor、Claude Desktop 等 AI IDE 整合。