fla-org/flash-linear-attention

何を解決するか

Flash Linear Attention (fla) は、現代のシーケンスモデル用の統合的でハードウェア効率の良いライブラリを提供します。標準的なアテンション機構の計算効率の低さを克服し、線形アテンション、状態空間モデル（SSMs）、ハイブリッドアーキテクチャ向けのサブ二次元カーネルとレイヤーを実装することで、さまざまなハードウェアプラットフォーム上で高速な学習と推論を可能にします。

どう動くか

このライブラリは、標準的なマルチヘッドアテンションに置き換えることができる広範な「トークンミキシング」レイヤーと統合モジュールを実装しています。NVIDIA、AMD、Intelハードウェアで検証されたプラットフォーム非依存の実装を提供しています。Mamba、RetNet、RWKVなどのさまざまなアーキテクチャ向けの専用カーネルを含み、シーケンス次元にわたる分散学習を可能にするコンテキスト並列をサポートしています。

対象ユーザー

大規模言語モデル（LLMs）やシーケンスモデルを構築しているAI研究者やエンジニアで、標準的なTransformerアテンションからより効率的で線形時間の代替手段に移行したい方。

主な特徴

• 広範なモデル対応: Mamba-2/3、RWKV-6/7、RetNet、GLA、Gated DeltaNetなど、多数のアーキテクチャを実装。
• ハードウェア非依存: NVIDIA（CUDA）、AMD（ROCm）、Intel（XPU）に加え、NPUおよびCPUもサポート。
• 学習に適した設計: フュージョンされた線形層とクロスエントロピー層を含み、メモリ使用量を削減。分散学習のためのコンテキスト並列をサポート。
• 拡張可能なアーキテクチャ: ハイブリッドモデルの学習や、標準アテンションレイヤーを効率的な代替に置き換えるための柔軟なフレームワークを提供。