ConardLi/easy-dataset
A powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval
What it solves
Easy Dataset 简化了从非结构化、领域特定文档为大型语言模型（LLM）创建高质量、结构化数据集的复杂过程。它消除了手动解析文件、拆分文本以及生成模型微调、RAG 与性能评估所需问答对的工作。
How it works
该工具提供可视化界面，引导用户完成数据流水线：解析各种文档格式（PDF、DOCX 等），使用智能算法将文本拆分为有意义的块，并利用 LLM API 自动生成问题、完整答案（包括思考链）和领域标签树。它还包括噪声清理系统，并可通过评审模型或人工盲测评估生成数据集的质量。
Who it’s for
它面向需要为 LLM 微调、提升 RAG 检索召回率或进行垂直领域模型评估而构建专用数据集的技术和非技术用户。
Highlights
- Comprehensive Document Support: Handles PDF, Markdown, DOCX, TXT, and EPUB with intelligent recognition.
- Diverse Dataset Types: Supports single-turn QA, multi-turn dialogues, and image-based QA datasets.
- Integrated Evaluation: Features automated scoring via Judge Models and a double-blind "Arena" for human comparison.
- Seamless Integration: One-click configuration for LLaMA Factory and direct upload capabilities to Hugging Face Hub.
- Flexible Model Support: Compatible with any OpenAI-format API, including local models via Ollama.