ZHZisZZ/dllm

何を解決するか

dLLM は、拡散言語モデル（dLLM）の学習、推論、評価を統合するためのライブラリです。断片化された開発プロセスを置き換える標準化されたパイプラインを提供し、非自己回帰的テキスト生成モデルの作成とデプロイをより透明かつ再現可能にします。

仕組み

このライブラリは、コアな再利用可能なモジュール（サンプラー、スケジューラ、トレーナー）とアプリケーション固有のパイプラインからなるモジュール式フレームワークを提供します。業界標準ツールである Hugging Face の transformers Trainer、lm-evaluation-harness、LoRA、DeepSpeed、FSDP と統合され、スケーラブルな学習が可能になります。

さまざまな拡散アルゴリズム（マスク拡散（MDLM）、ブロック拡散（BD3LM））をサポートし、既存の自己回帰モデル（ARモデル）やBERTエンコーダを拡散モデルに変換するレシピ（例：Tiny-A2D、BERT-Chat）を提供します。

対象ユーザー

拡散ベースのテキスト生成に取り組んでいるAI研究者や開発者。特に、LLaDAやDreamなどのモデルを学習・微調整・評価したい人、または標準的なLLMを拡散モデルに変換したい人向けです。

特徴

• 統合パイプライン：学習、サンプリング、評価を1つのライブラリで統合。
• スケーラブルな学習：LoRA、DeepSpeed、FSDP をサポートし、大規模な効率的学習を実現。
• モデル変換：任意の自己回帰モデル（例：LLaMA、Qwen）やBERTエンコーダを拡散モデルに変換するレシピを含む。
• 推論支援：GSM8KやMATHなどの推論タスク向けに diffu-GRPO 学習を実装。
• 高速推論：Fast-dLLM と統合し、キャッシュ付きおよび信頼度閾値デコードを実現。