ZHZisZZ/dllm

解决的问题

dLLM 是一个旨在统一扩散语言模型（dLLM）的训练、推理和评估的库。它提供了一个标准化的流程，取代了碎片化的开发过程，使非自回归文本生成模型的创建和部署更加透明和可复现。

工作原理

该库提供了一个模块化框架，包含核心可复用模块（采样器、调度器和训练器）以及特定应用的流水线。它与行业标准工具（如 Hugging Face 的 transformers Trainer、lm-evaluation-harness、LoRA、DeepSpeed 和 FSDP）集成，支持可扩展的训练。

支持多种扩散算法，包括掩码扩散（MDLM）和块扩散（BD3LM），并提供将现有自回归（AR）模型或 BERT 编码器转换为扩散模型的配方（例如 Tiny-A2D 和 BERT-Chat）。

适用人群

从事基于扩散的文本生成的 AI 研究人员和开发者，特别是希望训练、微调或评估 LLaDA 和 Dream 等模型，或希望将标准 LLM 转换为扩散模型的人。

主要亮点

• 统一流程：将训练、采样和评估整合到一个库中。
• 可扩展训练：支持 LoRA、DeepSpeed 和 FSDP，实现高效的大规模训练。
• 模型转换：提供将任意自回归模型（如 LLaMA、Qwen）或 BERT 编码器转换为扩散模型的配方。
• 推理支持：实现 diffu-GRPO 训练，支持 GSM8K 和 MATH 等推理任务。
• 加速推理：与 Fast-dLLM 集成，支持缓存和置信度阈值解码。