mjun0812/flash-attention-prebuild-wheels

flash-attention-prebuild-wheels

概要 – FlashAttention（高速アテンションカーネル）用のプレビルド済みバイナリホイールをホストするGitHubリポジトリです（FlashAttention 1、2、3）。FlashAttentionは、大規模言語モデルで使用されるアテンション演算の高性能CUDA/ROCm実装です。ソースからのビルドは時間がかかり、高性能GPUが必要なため、このプロジェクトではPython、CUDA（またはROCm）、PyTorch、プラットフォーム（Linux x86_64、Linux ARM64、Windows）の多くの組み合わせに対応したプレコンパイル済みホイールを提供しています。

重要性 – 研究者や開発者は、pip installコマンド1つでFlashAttentionをPython環境に追加でき、数時間のコンパイル時間やカスタムビルド環境の必要性を回避できます。このリポジトリはリストされたバージョンマトリックス（1,000以上のホイール）の100%をカバーし、さらにHopperクラスのGPUとCUDA 12.3+が必要な新しいFlashAttention 3用のホイールも提供しています。

使用方法

1. 希望するホイール名を選択します。ホイール名にはFlashAttentionバージョン、CUDA/ROCmバージョン、PyTorchバージョン、Pythonバージョンが含まれています（例：

   flash_attn-2.6.3+cu124torch2.5-cp312-cp312-linux_x86_64.whl
   

2. Useful Search Page（https://mjunya.com/flash-attention-prebuild-wheels/）、`doc/packages.md`リスト、またはGitHubリリースページで正確なURLを見つけます。
3. GitHubから直接インストールします：

   pip install https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.0.0/flash_attn-2.6.3+cu124torch2.5-cp312-cp312-linux_x86_64.whl
   

   または、ダウンロードしてからローカルでインストールします。

対応プラットフォーム – Linux x86_64、Linux ARM64、Windows、AMD ROCm搭載Linux。ホイールはGitHubホストランナー、セルフホストマシン、AWS CodeBuildを組み合わせてビルドされ、広範なglibc互換性のためにmany-linux_2_28コンテナを使用しています。

独自ビルドが必要な場合 – 特定のバージョン組み合わせが欠けている場合は、リポジトリをフォークし、create_matrix.pyを編集して希望のマトリックスエントリを追加し、新しいリリース（例：v0.9.0）にタグを付けると、CIがホイールをビルドします。GitHubホストジョブの制限を超える非常に大きなビルドには、セルフホストランナーが必要です。

引用 – READMEには、学術研究でホイールリポジトリを引用するためのBibTeXエントリが提供されています。

---

すべての情報はリポジトリのREADMEから直接取得しています。