HKUSTDial/flash-sparse-attention

Trainable fast and memory-efficient sparse attention

해결하는 문제

Flash-Sparse-Attention (FSA)는 Transformer 모델에서 매우 긴 시퀀스를 처리할 때 발생하는 계산 및 메모리 병목 문제를 해결합니다. Flash Attention의 메모리 효율성과 스파스 계산을 결합하여 어텐션 메커니즘의 오버헤드를 줄입니다.

작동 방식

FSA는 고성능 트레이너블 스파스 어텐션 커널을 구현합니다. 최적의 성능을 위해 CuTe 백엔드를 사용하며, 인과적, 로컬 윈도우, 게이트형 어텐션 등 다양한 어텐션 패턴을 지원합니다. 작업 부하 균형과 정밀도 최적화를 위해 Split-KV(프론트/디코딩용) 및 Split-QO(백워드 패스용) 기법을 사용하며, 네이티브 FP8 지원이 없는 하드웨어에서 저정밀도 계산을 위한 융합 양자화도 제공합니다.

대상 사용자

긴 컨텍스트 창을 효율적으로 처리하고, 고성능 트레이닝 및 추론(디코딩) 워크로드를 필요로 하는 대규모 Transformer 모델을 개발하는 연구자 및 개발자.

주요 특징

  • 다양한 어텐션 지원: 디엔스, 스파스, 게이트형 어텐션, 그룹 쿼리 어텐션(GQA), 멀티 쿼리 어텐션(MQA)을 지원.
  • 메모리 및 계산 효율성: Flash Attention의 메모리 효율성과 스파스 계산, Paged Attention을 통합.
  • 유연한 구성: Flex Local Window Attention을 통해 헤드별로 임의의 윈도우 크기와 로컬 범위를 설정 가능.
  • 하드웨어 최적화: 융합 양자화 및 작업 부하 균형(Split-KV/Split-QO)을 포함하여 GPU/XPU/NPU/PPU 성능을 극대화.

관련

  • 프로젝트
    Relaxed-System-Lab/Flash-Sparse-Attention

    Flash‑Sparse‑Attention (FSA)은 Native Sparse Attention의 최적화 버전을 구현한 Triton 기반 PyTorch 모듈입니다. 루프 재정렬과 3개의 특수 커널로 작업을 분할하여 메모리 트래픽을 줄이고 원자적 가산(atomic add)을 제거함으로써, 최신 NVIDIA GPU에서 긴 시퀀스 LLM 학습 및 추론 속도를 2‑3배 향상시킵니다. PyTorch ≥ 2.4, transformers ≥ 4.45와 호환되며 Ampere/Hopper 하드웨어에서 fp16/bf16을 지원합니다.

  • 프로젝트
    fla-org/flash-linear-attention

    다양한 하드웨어 백엔드에서 선형 어텐션, 상태 공간 모델, 하이브리드 LLM 아키텍처를 위한 서브이차원 커널과 레이어의 하드웨어 효율적인 라이브러리.

  • 프로젝트
    flagos-ai/FlagAttention

    FlagAttention은 Triton 기반 라이브러리로, 다양한 가속기에서 대규모 모델의 학습 및 추론을 위한 빠르고 메모리 효율적인 어텐션 커널(FlashAttention, 조각별, 페이징, 희소, 양자화, 재귀적 등)을 제공합니다. 안정적인 밀집 연산자는 프로덕션 준비가 완료되었으며, 알파 버전은 KV 캐시 페이징, 블록 희소 디코딩, INT8 양자화와 같은 실험적 기능을 제공합니다.

  • 프로젝트
    Dao-AILab/flash-attention

    Transformer 모델의 어텐션 메커니즘을 빠르고 메모리 효율적으로 구현하여 GPU 메모리 IO를 줄이고 속도와 효율성을 높입니다.

  • Dispatch
    Hugging Face Reads: Long-range Transformers

    Hugging Face는 표준 Transformer self-attention의 이차적 메모리 및 시간 복잡도를 선형 복잡도로 줄이기 위해 설계된 네 가지 핵심 아키텍처—Longformer, Compressive Transformer, Linformer, Performer—를 분석합니다.