ML-GSAI/LLaDA

Official PyTorch implementation for "Large Language Diffusion Models"

解決的問題

LLaDA 解決了這樣一個假設，即高級大語言模型 (LLM) 能力（如上下文學習和指令遵循）僅與自回歸（預測下一個 token）架構綁定。它探索了掩碼擴散模型在大規模語言生成方面的極限。

工作原理

與預測序列中下一個 token 的標準 LLM 不同，LLaDA 是一個掩碼擴散模型。它使用 Transformer 架構，但採用了一種機率建模方法，即學習從掩碼序列中恢復原始 token。在訓練期間，它使用一個在 0 到 1 之間隨機變化的掩碼率，這使其訓練目標成為模型分佈的負對數似然的上界，從而將其轉變為一個生成模型。在推理過程中，它透過重掩碼 (remasking) 過程迭代地優化序列。

適用對象

對替代 LLM 架構感興趣的研究人員和開發人員，特別是那些正在探索將基於擴散的語言建模作為自回歸模型替代方案的人。

亮點

  • 規模：一個從頭開始訓練的 8B 參數模型，在性能上可以媲美 LLaMA3 8B。
  • 架構靈活性：使用標準的 Transformer 架構，不需要將時間 $t$ 作為輸入。
  • MoE 變體：包括 LLaDA-MoE，這是第一個使用混合專家 (Mixture-of-Experts) 架構從頭開始預訓練的擴散語言模型。
  • 多模態擴展：LLaDA-V 將基於擴散的方法擴展到了視覺-語言建模。
  • 效率提升：iLLaDA 版本同時提高了基準測試性能和生成效率。

相關

  • 專案
    inclusionAI/LLaDA2.X

    一系列擴展至 100B 參數的離散擴散大語言模型，為文本生成提供高速並行解碼。

  • 專案
    pengzhangzhi/Open-dLLM

    一個完整的開源框架，用於基於擴散的大型語言模型，提供從預訓練、資料集到評估與推理的全流程。

  • 專案
    NX-AI/xlstm

    xLSTM 是一種新穎的循環神經網路架構，透過引入指數門控與矩陣記憶，擴展了 LSTM，使其能支援大規模語言模型（例如，一個 70 億參數的模型）。該倉儲提供 PyTorch 程式碼、透過 `mlstm_kernels` 套件提供的自訂 CUDA/Triton 內核、單一檔案 70 億參數實作、設定工具，以及 Hugging Face 上的預訓練權重。安裝透過 conda + pip 完成，該庫可在 NVIDIA GPU（使用快速 Triton 內核）上運作，並為 AMD 或 Apple Silicon 提供回退方案。

  • 專案
    JetAstra/SDAR

    SDAR（擴散與自回歸的協同）是一個開源 LLM 家族，結合自回歸訓練與離散擴散解碼。此方法在保持 AR 模型品質的同時，實現 2~4 倍的推論加速，尤其在科學推理基準測試中表現出色。倉儲提供預訓練模型（1.7 B–30 B）、簡單的 generate 腳本，以及兩個高性能推論引擎（JetEngine 與 LMDeploy）。訓練/微調腳本使用 LLaMA‑Factory，專案採用 MIT 許可證，持續維護中。

  • Dispatch
    Meta Llama 3 發布說明

    Meta 已發布 Llama 3，這是一個開放存取的 LLM 系列，提供 8B 與 70B 參數模型，具備改進的分詞與在 15 兆令牌上進行的訓練。