nolabs-ai/deepfabric

Generate High-Quality Synthetics, Train, Measure, and Evaluate in a Single Pipeline

What it solves

DeepFabric 解决了为语言模型创建高质量、多样化合成训练数据的挑战，特别是针对工具调用（tool-calling）和推理等智能体行为（agentic behaviors）。它通过确保数据集锚定于特定领域，并基于真实的工具执行结果而非模拟输出，从而防止模型过拟合和幻觉。

How it works

该系统使用独特的议题图生成算法（topic graph generation algorithms）来规划领域并确保子议题的全面覆盖且无冗余。然后，它使用 ReAct (Reason-Act-Observe) 循环生成训练样本。为了确保准确性，它与 Spin Framework 集成，在隔离的 WebAssembly 沙箱中执行工具，这意味着模型的“观察”（observations）是基于虚拟文件系统中的实际状态变化。生成的数据可以导出到 Hugging Face 并与 TRL、Unsloth 或 Axolotl 等训练框架一起使用。最后，它包含一个内置的评估引擎，用于在未见过的任务上测试微调后模型的工具选择和参数准确性。

Who it’s for

它专为开发者和 AI 研究人员设计，特别是那些需要微调 LLM 以作为智能体（agents）运行，并需要教导模型如何使用工具、遵循严格的模式（schemas）以及在特定领域执行复杂规划的人员。

Highlights

  • Topic Graph Generation: 使用图和树来确保 100% 的议题覆盖率并避免冗余样本。
  • Real Tool Execution: 与 WebAssembly (Spin) 集成，提供真实的工具调用轨迹（traces），而非幻觉式的模拟。
  • MCP Support: 可以从 Model Context Protocol (MCP) 服务器模式（schemas）中导入工具定义。
  • Integrated Evaluation: 提供专用引擎来衡量工具选择准确性、参数准确性以及执行成功率。
  • Training Pipeline Integration: 与 Hugging Face 和流行的 SFT (Supervised Fine-Tuning) 框架直接兼容。