mjun0812/flash-attention-prebuild-wheels

flash-attention-prebuild-wheels

개요 – FlashAttention(빠른 어텐션 커널)용 사전 빌드된 바이너리 휠을 호스팅하는 GitHub 리포지토리입니다(FlashAttention 1, 2, 3). FlashAttention은 대규모 언어 모델에서 사용되는 어텐션 연산의 고성능 CUDA/ROCm 구현입니다. 소스에서 빌드하는 것은 느리고 강력한 GPU가 필요하므로, 이 프로젝트는 Python, CUDA(또는 ROCm), PyTorch, 플랫폼(Linux x86_64, Linux ARM64, Windows)의 다양한 조합에 대해 사전 컴파일된 휠을 제공합니다.

중요성 – 연구자와 개발자는 pip install 명령 하나로 FlashAttention을 Python 환경에 추가할 수 있어, 수 시간의 컴파일 시간과 커스텀 빌드 환경의 필요성을 피할 수 있습니다. 이 리포지토리는 나열된 버전 매트릭스(1,000개 이상의 휠)의 100%를 다루며, Hopper급 GPU와 CUDA 12.3+가 필요한 최신 FlashAttention 3용 휠도 제공합니다.

사용 방법

1. 원하는 휠 이름을 선택합니다. 휠 이름에는 FlashAttention 버전, CUDA/ROCm 버전, PyTorch 버전, Python 버전이 포함되어 있습니다(예:

   flash_attn-2.6.3+cu124torch2.5-cp312-cp312-linux_x86_64.whl
   

2. 유용한 검색 페이지(https://mjunya.com/flash-attention-prebuild-wheels/), doc/packages.md 목록, 또는 GitHub 릴리스 페이지에서 정확한 URL을 찾습니다.
3. GitHub에서 직접 설치합니다:

   pip install https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.0.0/flash_attn-2.6.3+cu124torch2.5-cp312-cp312-linux_x86_64.whl
   

   또는 다운로드한 후 로컬에서 설치합니다.

지원 플랫폼 – Linux x86_64, Linux ARM64, Windows, AMD ROCm이 탑재된 Linux. 휠은 GitHub 호스팅 러너, 자체 호스팅 머신, AWS CodeBuild를 혼합하여 빌드되며, 광범위한 glibc 호환성을 위해 many-linux_2_28 컨테이너를 사용합니다.

직접 빌드가 필요한 경우 – 특정 버전 조합이 없는 경우, 리포지토리를 포크하고 create_matrix.py를 편집하여 원하는 매트릭스 항목을 추가한 후, 새 릴리스(예: v0.9.0)에 태그를 지정하면 CI가 휠을 빌드합니다. GitHub 호스팅 작업 한도를 초과하는 매우 큰 빌드에는 자체 호스팅 러너가 필요합니다.

인용 – README에는 학술 작업에서 휠 리포지토리를 인용하기 위한 BibTeX 항목이 제공됩니다.

---

모든 정보는 리포지토리의 README에서 직접 가져온 것입니다.