fla-org/flash-linear-attention

해결하는 문제

Flash Linear Attention (fla)는 현대 시퀀스 모델을 위한 통합적이고 하드웨어 효율적인 라이브러리 빌딩 블록을 제공합니다. 표준 어텐션 메커니즘의 계산 비효율성을 해결하기 위해 선형 어텐션, 상태 공간 모델(SSMs), 하이브리드 아키텍처를 위한 서브-이차원 커널과 레이어를 구현하여, 다양한 하드웨어 플랫폼에서 더 빠른 학습과 추론을 가능하게 합니다.

작동 방식

이 라이브러리는 표준 멀티헤드 어텐션에 대체할 수 있는 다양한 '토큰 믹싱' 레이어와 융합 모듈을 구현합니다. NVIDIA, AMD, Intel 하드웨어에서 검증된 플랫폼 독립적인 구현을 제공합니다. Mamba, RetNet, RWKV 등의 다양한 아키텍처를 위한 특화된 커널을 포함하며, 시퀀스 차원에 걸친 분산 학습을 위한 컨텍스트 병렬을 지원합니다.

대상 사용자

대규모 언어 모델(LLMs) 또는 시퀀스 모델을 개발하는 AI 연구자 및 엔지니어로서, 표준 Transformer 어텐션을 넘어 더 효율적이고 선형 시간 대안으로 전환하고자 하는 분들.

주요 특징

• 광범위한 모델 지원: Mamba-2/3, RWKV-6/7, RetNet, GLA, Gated DeltaNet 등 다양한 아키텍처를 구현.
• 하드웨어 독립성: NVIDIA (CUDA), AMD (ROCm), Intel (XPU)뿐만 아니라 NPU 및 CPU도 지원.
• 학습 준비 완료: 메모리 사용량을 줄이기 위해 퓨전된 선형 및 크로스엔트로피 레이어 포함, 분산 학습을 위한 컨텍스트 병렬 지원.
• 확장 가능한 아키텍처: 하이브리드 모델 학습 및 표준 어텐션 레이어를 효율적인 대안으로 교체할 수 있는 유연한 프레임워크 제공.