MigoXLab/dingo
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
What it solves
Dingo는 AI 데이터, 모델 및 애플리케이션의 품질을 평가하고 개선하도록 설계된 종합 평가 도구입니다. LLM을 위한 고품질 학습 데이터 확보, 파인튜닝 데이터셋 검증, 그리고 프로덕션 RAG(Retrieval‑Augmented Generation) 시스템에서의 환각 현상 탐지를 위한 과제를 해결합니다.
How it works
빠르고 결정적인 규칙 기반 검사(휴리스틱 및 정규식)와 LLM 및 AI 에이전트를 활용한 깊은 의미 분석을 결합한 하이브리드 평가 전략을 사용합니다. 로컬 파일, SQL 데이터베이스, HuggingFace 데이터셋, S3 스토리지 등 다양한 데이터 소스에 연결할 수 있으며, 로컬 실행기로 빠른 반복을 하거나 Spark 실행기로 수십억 규모 데이터셋을 처리할 수 있습니다. 다중 필드 평가를 지원하여 단일 패스에서 서로 다른 필드에 서로 다른 품질 규칙을 적용할 수 있습니다.
Who it’s for
데이터셋을 체계적으로 검증하고 프로덕션 환경에서 AI 시스템의 신뢰성을 모니터링해야 하는 ML 실무자, 데이터 엔지니어, AI 연구자를 위한 도구입니다.
Highlights
- Hybrid Evaluation: 30개 이상의 내장 규칙에 LLM 기반 심층 평가와 에이전트 기반 추론을 결합해 다단계 사실 검증을 수행합니다.
- RAG Assessment: Retrieval 및 Generation 품질을 평가하기 위해 Faithfulness, Answer Relevancy, Context Precision, Context Recall, Context Relevancy 등 5가지 학술 기반 메트릭을 제공합니다.
- Enterprise Data Integration: 대규모 SQL 데이터베이스에 대한 메모리 효율적인 스트리밍을 지원하고 HuggingFace 및 S3와 직접 통합됩니다.
- Extensible Architecture: 코어 코드를 수정하지 않고도 커스텀 규칙, 프롬프트, 모델을 등록할 수 있는 플러그인 시스템을 갖추고 있습니다.
- MCP Server: Cursor, Claude Desktop 등 AI IDE와 통합할 수 있는 내장 Model Context Protocol 서버를 포함합니다.