HKUSTDial/flash-sparse-attention

Trainable fast and memory-efficient sparse attention

解决的问题

Flash-Sparse-Attention (FSA) 解决了在 Transformer 模型中处理极长序列时相关的计算和内存瓶颈问题。它结合了 Flash Attention 的内存效率与稀疏计算，以降低注意力机制的开销。

工作原理

FSA 实现了高性能的可训练稀疏注意力内核。它利用 CuTe 后端以实现最佳性能，并支持多种注意力模式，包括因果、局部窗口和门控注意力。为了优化工作负载平衡和精度，它采用了 Split-KV（用于前向/解码）和 Split-QO（用于反向传播）等技术，以及针对缺乏原生 FP8 支持硬件的低精度计算的融合量化。

适用人群

需要高效处理长上下文窗口以及高性能训练和推理（解码）工作负载的大规模 Transformer 模型的研究人员和开发者。

主要亮点

  • 多样的注意力支持：支持密集、稀疏和门控注意力，以及分组查询注意力（GQA）和多查询注意力（MQA）。
  • 内存与计算效率：整合了 Flash Attention 的内存效率、稀疏计算和分页注意力（Paged Attention）。
  • 灵活的配置：通过 Flex Local Window Attention 支持每个头的任意窗口大小和局部范围。
  • 硬件优化：包含融合量化和工作负载平衡（Split-KV/Split-QO），以最大化 GPU/XPU/NPU/PPU 的性能。

相关

  • 项目
    Relaxed-System-Lab/Flash-Sparse-Attention

    Flash‑Sparse‑Attention (FSA) 是一个基于 Triton 的 PyTorch 模块，为 Native Sparse Attention 提供了优化版本。通过重新排序循环并将工作拆分为三个专用核心，它减少了内存流量并消除了原子加法，在现代 NVIDIA GPU 上对长序列 LLM 的训练和推理速度提升了 2‑3 倍。它适用于 PyTorch ≥ 2.4、transformers ≥ 4.45，并在 Ampere/Hopper 硬件上支持 fp16/bf16。

  • 项目
    fla-org/flash-linear-attention

    一个跨多种硬件后端的、用于线性注意力、状态空间模型和混合LLM架构的硬件高效子二次核与层库。

  • 项目
    flagos-ai/FlagAttention

    FlagAttention 是一个基于 Triton 的库，提供快速且内存效率高的 Attention 内核（如 FlashAttention、分段、分页、稀疏、量化、递归等），适用于多种加速器上的大型模型训练与推理。稳定的密集算子已可投入生产；Alpha 版本则提供如 KV-cache 分页、块稀疏解码与 INT8 量化等实验性功能。

  • 项目
    Dao-AILab/flash-attention

    一种针对 Transformer 模型注意力机制的快速且内存高效的实现，通过减少 GPU 内存 IO 来提升速度与效率。

  • Dispatch
    Hugging Face 阅读：长程 Transformer

    Hugging Face 分析了四种关键架构——Longformer、Compressive Transformer、Linformer 和 Performer——旨在将标准 Transformer 自注意力的二次方内存和时间复杂度降低为线性复杂度。