ZHZisZZ/dllm

解決的問題

dLLM 是一個旨在統一擴散語言模型（dLLM）訓練、推論與評估的函式庫。它提供標準化流程，取代碎片化的開發流程，使非自回歸式文字生成模型的建立與部署更為透明且可重現。

工作原理

此函式庫提供模組化框架，包含核心可重用模組（取樣器、排程器與訓練器）以及應用特定的流程。它與業界標準工具（如 Hugging Face 的 transformers Trainer、lm-evaluation-harness、LoRA、DeepSpeed 與 FSDP）整合，支援可擴展訓練。

支援多種擴散演算法，包括遮罩擴散（MDLM）與區塊擴散（BD3LM），並提供將現有自回歸（AR）模型或 BERT 編碼器轉換為擴散模型的配方（例如 Tiny-A2D 與 BERT-Chat）。

適用對象

從事基於擴散的文本生成之 AI 研究人員與開發者，特別是希望訓練、微調或評估 LLaDA 與 Dream 等模型，或希望將標準 LLM 轉換為擴散模型的人。

主要特色

• 統一流程：將訓練、取樣與評估整合至單一函式庫。
• 可擴展訓練：支援 LoRA、DeepSpeed 與 FSDP，實現高效的大規模訓練。
• 模型轉換：提供將任意自回歸模型（如 LLaMA、Qwen）或 BERT 編碼器轉換為擴散模型的配方。
• 推理支援：實作 diffu-GRPO 訓練，支援 GSM8K 與 MATH 等推理任務。
• 加速推論：與 Fast-dLLM 整合，支援快取與信心閾值解碼。