ConardLi/easy-dataset
A powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval
What it solves
Easy Dataset 簡化了從非結構化、領域特定文件為大型語言模型（LLM）建立高品質、結構化資料集的複雜流程。它消除了解析檔案、切分文字以及產生模型微調、RAG 與效能評估所需問答對的手動工作。
How it works
此工具提供視覺化介面，引導使用者完成資料管線：解析各種文件格式（PDF、DOCX 等），使用智慧演算法將文字切分成有意義的片段，並利用 LLM API 自動產生問題、完整答案（含思考鏈）與領域標籤樹。它亦內建噪聲清理機制，並可透過評審模型或人工盲測評估資料集品質。
Who it’s for
此工具適用於需要為 LLM 微調、提升 RAG 召回率或執行垂直領域模型評估而建立專屬資料集的技術與非技術使用者。
Highlights
- Comprehensive Document Support: Handles PDF, Markdown, DOCX, TXT, and EPUB with intelligent recognition.
- Diverse Dataset Types: Supports single-turn QA, multi-turn dialogues, and image-based QA datasets.
- Integrated Evaluation: Features automated scoring via Judge Models and a double-blind "Arena" for human comparison.
- Seamless Integration: One-click configuration for LLaMA Factory and direct upload capabilities to Hugging Face Hub.
- Flexible Model Support: Compatible with any OpenAI-format API, including local models via Ollama.