ML-GSAI/LLaDA

Official PyTorch implementation for "Large Language Diffusion Models"

解决的问题

LLaDA 解决了这样一个假设，即高级大语言模型 (LLM) 能力（如上下文学习和指令遵循）仅与自回归（预测下一个 token）架构绑定。它探索了掩码扩散模型在大规模语言生成方面的极限。

工作原理

与预测序列中下一个 token 的标准 LLM 不同，LLaDA 是一个掩码扩散模型。它使用 Transformer 架构，但采用了一种概率建模方法，即学习从掩码序列中恢复原始 token。在训练期间，它使用一个在 0 到 1 之间随机变化的掩码率，这使其训练目标成为模型分布的负对数似然的上界，从而将其转变为一个生成模型。在推理过程中，它通过重掩码 (remasking) 过程迭代地优化序列。

适用对象

对替代 LLM 架构感兴趣的研究人员和开发人员，特别是那些正在探索将基于扩散的语言建模作为自回归模型替代方案的人。

亮点

  • 规模：一个从头开始训练的 8B 参数模型，在性能上可以媲美 LLaMA3 8B。
  • 架构灵活性：使用标准的 Transformer 架构，不需要将时间 $t$ 作为输入。
  • MoE 变体：包括 LLaDA-MoE，这是第一个使用混合专家 (Mixture-of-Experts) 架构从头开始预训练的扩散语言模型。
  • 多模态扩展：LLaDA-V 将基于扩散的方法扩展到了视觉-语言建模。
  • 效率提升：iLLaDA 版本同时提高了基准测试性能和生成效率。

相关

  • 项目
    inclusionAI/LLaDA2.X

    一系列扩展至 100B 参数的离散扩散大语言模型，为文本生成提供高速并行解码。

  • 项目
    pengzhangzhi/Open-dLLM

    一个完整的开源框架，用于基于扩散的大型语言模型，提供从预训练、数据集到评估与推理的全流程。

  • 项目
    NX-AI/xlstm

    xLSTM 是一种新颖的循环神经网络架构，通过引入指数门控和矩阵记忆，扩展了 LSTM，使其能够支持大规模语言模型（例如，一个 70 亿参数的模型）。该仓库提供 PyTorch 代码、通过 `mlstm_kernels` 包提供的自定义 CUDA/Triton 内核、单文件 70 亿参数实现、配置工具以及 Hugging Face 上的预训练权重。安装通过 conda + pip 完成，该库可在 NVIDIA GPU（使用快速 Triton 内核）上运行，并为 AMD 或 Apple Silicon 提供回退方案。

  • 项目
    JetAstra/SDAR

    SDAR（扩散与自回归的协同）是一个开源 LLM 家族，将自回归训练与离散扩散解码相结合。该方法在保持 AR 模型质量的同时，实现 2~4 倍的推理加速，尤其在科学推理基准测试中表现优异。仓库提供预训练模型（1.7 B–30 B）、简单生成脚本和两个高性能推理引擎（JetEngine 与 LMDeploy）。训练/微调脚本基于 LLaMA‑Factory，项目采用 MIT 许可证，持续维护中。

  • Dispatch
    Meta Llama 3 发布说明

    Meta 发布了 Llama 3，这是一款开放获取的 LLM 系列，提供 8B 和 70B 参数模型，具备改进的分词器，并在 15 万亿 token 上进行训练。