MigoXLab/dingo

Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool

What it solves

Dingo は、AI データ、モデル、アプリケーションの品質を評価・向上させるために設計された包括的な評価ツールです。LLM の高品質なトレーニングデータの確保、ファインチューニングデータセットの検証、そして本番環境の RAG（Retrieval‑Augmented Generation）システムにおけるハルシネーション検出という課題に取り組みます。

How it works

高速で決定的なルールベースチェック（ヒューリスティックや正規表現）と、LLM と AI エージェントを用いた深層セマンティック分析を組み合わせたハイブリッド評価戦略を採用しています。ローカルファイル、SQL データベース、HuggingFace データセット、S3 ストレージなど様々なデータソースに接続でき、ローカルエグゼキュータで迅速にイテレーションしたり、Spark エグゼキュータで十億規模のデータセットを処理したりできます。マルチフィールド評価をサポートし、単一パスで異なるフィールドに対して異なる品質ルールを適用できます。

Who it’s for

データセットを体系的に検証し、プロダクション環境での AI システムの信頼性を監視したい ML 実務者、データエンジニア、AI 研究者向けです。

Highlights

  • Hybrid Evaluation: 30 以上の組み込みルールに加え、LLM ベースの深層評価とエージェントベースの推論を組み合わせ、マルチステップの事実検証を実現。
  • RAG Assessment: Retrieval と Generation の品質を評価するための、Faithfulness、Answer Relevancy、Context Precision、Context Recall、Context Relevancy の 5 つの学術的に裏付けられた指標を提供。
  • Enterprise Data Integration: 大規模 SQL データベースに対するメモリ効率の高いストリーミングをサポートし、HuggingFace と S3 への直接統合も可能。
  • Extensible Architecture: コアコードを変更せずに、カスタムルール、プロンプト、モデルを登録できるプラグインシステムを備えています。
  • MCP Server: Cursor や Claude Desktop などの AI IDE と統合できる、組み込みの Model Context Protocol サーバーを搭載。