HKUSTDial/flash-sparse-attention

Trainable fast and memory-efficient sparse attention

何を解決するか

Flash-Sparse-Attention (FSA) は、Transformerモデルにおける極めて長いシーケンスの処理に関連する計算およびメモリのボトルネックを解決します。Flash Attentionのメモリ効率とスパース計算を組み合わせることで、アテンション機構のオーバーヘッドを削減します。

動作方法

FSAは高性能なトレーナブルスパースアテンションカーネルを実装しています。最適なパフォーマンスを実現するためにCuTeバックエンドを使用し、因果的、局所ウィンドウ、ゲート付きアテンションなど、さまざまなアテンションパターンをサポートしています。ワークロードのバランスと精度を最適化するために、Split-KV（フォワード/デコード用）とSplit-QO（バックワードパス用）の技術を採用しており、また、ネイティブなFP8サポートがないハードウェア向けに統合された量子化を提供しています。

対象ユーザー

長文コンテキスト窓の効率的な処理と、高性能なトレーニングおよび推論（デコード）ワークロードを必要とする大規模Transformerモデルを開発している研究者や開発者。

主な特徴

  • 多様なアテンションサポート: デンス、スパース、ゲート付きアテンション、およびGrouped Query Attention (GQA)、Multi Query Attention (MQA) をサポート。
  • メモリと計算効率: Flash Attentionのメモリ効率とスパース計算、Paged Attentionを統合。
  • 柔軟な設定: Flex Local Window Attentionにより、ヘッドごとに任意のウィンドウサイズと局所範囲を設定可能。
  • ハードウェア最適化: 統合量子化とワークロードバランス（Split-KV/Split-QO）を備え、GPU/XPU/NPU/PPUのパフォーマンスを最大化。

関連

  • プロジェクト
    Relaxed-System-Lab/Flash-Sparse-Attention

    Flash‑Sparse‑Attention (FSA) は、Native Sparse Attention の最適化版を実装した Triton ベースの PyTorch モジュールです。ループの並べ替えと3つの専用カーネルへの作業分割により、メモリトラフィックを削減し、アトミック加算を排除することで、最新の NVIDIA GPU 上での長シーケンス LLM の学習および推論を 2‑3 倍高速化します。PyTorch ≥ 2.4、transformers ≥ 4.45 に対応し、Ampere/Hopper ハードウェア上で fp16/bf16 をサポートしています。

  • プロジェクト
    fla-org/flash-linear-attention

    複数のハードウェアバックエンドで、線形アテンション、状態空間モデル、ハイブリッドLLMアーキテクチャ向けのサブ二次元カーネルとレイヤーのハードウェア効率の良いライブラリ。

  • プロジェクト
    flagos-ai/FlagAttention

    FlagAttentionは、Tritonベースのライブラリで、高速かつメモリ効率の高いAttentionカーネル（FlashAttention、区分的、ページング、スパース、量子化、再帰的など）を提供し、多くのアクセラレータでの大規模モデルの学習と推論をサポートします。安定した密行列演算子は本番環境で使用可能で、Alpha版ではKVキャッシュのページング、ブロック・スパース・デコーディング、INT8量子化などの実験的機能を提供します。

  • プロジェクト
    Dao-AILab/flash-attention

    TransformerモデルのAttentionメカニズムを高速かつメモリ効率よく実装し、GPUメモリIOを削減することで速度と効率を向上させます。

  • Dispatch
    Hugging Face Reads: Long-range Transformers

    Hugging Faceは、標準的なTransformerの自己注意のメモリと時間の計算量が二次関数的になる複雑さを、線形に削減するために設計された4つの主要なアーキテクチャ—Longformer、Compressive Transformer、Linformer、Performer—を分析しています。