facebookresearch/xformers

Hackable and optimized Transformers building blocks, supporting a composable construction.

解決的問題

它為 Transformer 模型提供了一套高度優化且可客製化的建構模組工具箱，減少了主流函式庫中常見的樣板程式碼和效能瓶頸。它特別解決了 NLP 和電腦視覺等領域在 AI 研究過程中對更快迭代和更低記憶體佔用的需求。

工作原理

xFormers 實作了最前沿的組件和自定義 CUDA 核心，以實現速度和記憶體效率的最大化。它提供了超越標準 PyTorch 原語的專業操作——例如記憶體高效的精確注意力（exact attention）和融合層（fused layers）——同時在必要時仍能分發到其他函式庫。

適用對象

需要用於視覺、NLP 和其他領域無關應用的 Transformer 架構高效能組件的 AI 研究人員和開發人員。

相關

  • 專案
    lucidrains/x-transformers

    一個簡潔、功能豐富的 Transformer 庫，實現了來自研究論文的廣泛實驗性架構變體與優化。

  • 專案
    fla-org/flash-linear-attention

    A library of hardware-efficient, training-ready implementations for linear attention, state space models, and hybrid LLM architectures across multiple hardware platforms.

  • 專案
    inclusionAI/cuLA

    針對 KDA 與 Lightning Attention 等線性注意力變體的高性能 CUDA 核心庫，專門針對 NVIDIA Blackwell 與 Hopper GPU 進行了優化。

  • 專案
    xlite-dev/LeetCUDA

    用於 PyTorch 現代 CUDA 編程的全面學習資源與內核庫，包含 200 多個內核以及 GEMM 與 FlashAttention 的高性能實現。

  • 專案
    Dao-AILab/flash-attention

    一種快速且節省記憶體的 Transformer Attention 機制實作，透過減少記憶體 IO 來加速 LLM 訓練與推理。