fla-org/flash-linear-attention

解决的问题

Flash Linear Attention (fla) 提供了一个统一的、硬件高效的构建模块库，用于现代序列模型。它通过实现线性注意力、状态空间模型（SSMs）和混合架构的次二次方核与层，解决了标准注意力机制的计算低效问题，从而在不同硬件平台上实现更快的训练和推理。

如何工作

该库实现了多种“令牌混合”层和融合模块，可替代标准的多头注意力。它提供了在 NVIDIA、AMD 和 Intel 硬件上验证过的平台无关实现。项目包含针对 Mamba、RetNet、RWKV 等多种架构的专用内核，并支持跨序列维度的分布式训练的上下文并行。

适用人群

希望超越标准 Transformer 注意力，采用更高效、线性时间替代方案的大规模语言模型（LLMs）或序列模型的 AI 研究人员和工程师。

主要亮点

• 广泛模型支持：实现包括 Mamba-2/3、RWKV-6/7、RetNet、GLA 和 Gated DeltaNet 在内的大量架构。
• 硬件无关：支持 NVIDIA（CUDA）、AMD（ROCm）、Intel（XPU），以及 NPU 和 CPU。
• 训练就绪：包含融合的线性和交叉熵层以减少内存使用，并支持上下文并行以实现分布式训练。
• 可扩展架构：提供灵活的框架，用于训练混合模型，并将标准注意力层替换为高效替代方案。