modelscope/easydistill

解决的问题

EasyDistill 2 是一个配置驱动的工具包，旨在将黑盒教师模型转化为高质量的训练数据。它通过自动化监督微调（SFT）和直接偏好优化（DPO）所用数据集的生成与优化，简化了知识蒸馏的过程。

工作原理

该工具包采用基于管道的方法，将生成、评估、过滤、重写、平衡和偏好评分等原子操作组合成端到端的工作流。这些管道可通过 YAML 文件进行配置，以生成多种类型的训练数据，包括文本指令、思维链（CoT）推理、多模态对话和代理轨迹。它与后端无关，支持任何 OpenAI 兼容端点（例如 vLLM、Azure OpenAI），以及图像和视频生成的专用后端。

适用人群

适用于希望利用大型专有或开源教师模型的知识，为更小、更专业的模型创建高质量合成数据集的开发者和研究人员。

主要亮点

• 多模态支持：支持文本、视觉-语言、文本到图像（T2I）和文本到视频（T2V）任务的数据蒸馏。
• 可组合的管道：提供即用的端到端管道和独立操作符，用于自定义数据策略。
• 代理蒸馏：利用 LangGraph ReAct 循环，合成虚拟工具使用任务和多轮代理轨迹。
• 训练就绪输出：以 LLaMA-Factory 和 ms-swift 兼容的格式导出数据。
• 多样化的数据类型：生成 SFT 数据集、DPO 偏好对和复杂的推理轨迹（CoT）。