facebookresearch/xformers

Hackable and optimized Transformers building blocks, supporting a composable construction.

解决的问题

它为 Transformer 模型提供了一套高度优化且可定制的构建模块工具箱，减少了主流库中常见的样板代码和性能瓶颈。它专门解决了 NLP 和计算机视觉等领域在 AI 研究过程中对更快迭代和更低内存占用的需求。

工作原理

xFormers 实现了最前沿的组件和自定义 CUDA 内核，以实现速度和内存效率的最大化。它提供了超越标准 PyTorch 原语的专业操作——例如内存高效的精确注意力（exact attention）和融合层（fused layers）——同时在必要时仍能分发到其他库。

适用对象

需要用于视觉、NLP 和其他领域无关应用的 Transformer 架构高性能组件的 AI 研究人员和开发人员。

相关

  • 项目
    lucidrains/x-transformers

    一个简洁、功能丰富的 Transformer 库，实现了来自研究论文的广泛实验性架构变体和优化。

  • 项目
    fla-org/flash-linear-attention

    A library of hardware-efficient, training-ready implementations for linear attention, state space models, and hybrid LLM architectures across multiple hardware platforms.

  • 项目
    inclusionAI/cuLA

    针对 KDA 和 Lightning Attention 等线性注意力变体的高性能 CUDA 内核库，专门针对 NVIDIA Blackwell 和 Hopper GPU 进行了优化。

  • 项目
    xlite-dev/LeetCUDA

    用于 PyTorch 现代 CUDA 编程的全面学习资源和内核库，包含 200 多个内核以及 GEMM 和 FlashAttention 的高性能实现。

  • 项目
    Dao-AILab/flash-attention

    一种快速且节省内存的 Transformer Attention 机制实现，通过减少内存 IO 来加速 LLM 训练与推理。