Dao-AILab/flash-attention

Fast and memory-efficient exact attention

解决的问题

FlashAttention 优化了 Transformer 模型中的注意力机制，使其更快且更节省内存。它解决了标准注意力运算中高内存与计算开销的问题，具体做法是减少数据在不同 GPU 内存类型之间传输的次数（IO-awareness）。

运作原理

它实现了一种专门的缩放点积注意力（scaled dot product attention）版本，将内存访问降至最低。该项目提供了多个版本（FlashAttention, FlashAttention-2, 3, 和 4），针对不同的 GPU 架构进行了优化，包括 NVIDIA (Ampere, Ada, Hopper, Blackwell) 和 AMD (ROCm)。它支持因果遮罩（causal masking）、滑动窗口局部注意力（sliding window local attention）以及多查询/分组查询注意力（MQA/GQA）等进阶功能。

适用对象

专为机器学习工程师与研究人员设计，他们在训练或部署大型语言模型（LLMs）时，需要最大化 GPU 吞吐量并减少注意力阶段的内存消耗。

特色亮点

  • 多 GPU 架构支持：针对 NVIDIA Hopper (H100) 和 Blackwell (B200) GPU 以及 AMD ROCm 兼容 GPU 优化的核心。
  • 内存效率：减少 IO 开销以加速前向与反向传播。
  • 推理优化：包含支持 KV 缓存的增量解码专用函数。
  • 灵活的注意力模式：支持因果遮罩、ALiBi 斜率与滑动窗口注意力。

相关

  • 项目
    flagos-ai/FlagAttention

    FlagAttention 是一个基于 Triton 的库，提供快速且内存效率高的 Attention 内核（如 FlashAttention、分段、分页、稀疏、量化、递归等），适用于多种加速器上的大型模型训练与推理。稳定的密集算子已可投入生产；Alpha 版本则提供如 KV-cache 分页、块稀疏解码与 INT8 量化等实验性功能。

  • 项目
    HKUSTDial/flash-sparse-attention

    一种将 Flash Attention 的内存效率与稀疏计算相结合的高性能可训练稀疏注意力实现，用于处理 Transformer 模型中的极长序列。

  • 项目
    lucidrains/x-transformers

    x-transformers 是一个用于构建可配置 Transformer 模型（编码器-解码器、仅解码器、仅编码器、视觉）的 PyTorch 库，具备许多研究级功能（如 flash attention、内存标记、替代归一化、稀疏/top-k 注意力、talking-heads、GLU 变体等）。它旨在为研究人员和从业者提供简洁、可扩展的实现，以快速原型化新想法。

  • Dispatch
    在生产环境中优化LLM：精度、注意力和架构

    Hugging Face 概述了高效 LLM 部署的关键技术，重点在于降低精度的量化、用于内存效率的 Flash Attention，以及如 RoPE、ALiBi、MQA 和 GQA 等架构优化。

  • 项目
    vllm-project/vllm

    vLLM 是一个用于大型语言模型的高吞吐量、低延迟服务的开源库。它引入了 PagedAttention 来高效处理 KV 缓存，支持多种量化格式，集成了快速注意力内核，并提供了一个兼容 OpenAI 的 API，可在 GPU、CPU 和其他加速器上运行。