Dao-AILab/quack

해결하는 문제

QuACK는 일반적인 딥러닝 연산을 위한 고성능 GPU 커널 모음으로, CuTe-DSL을 사용하여 Python에서 직접 메모리 제한 연산에 대해 '빛의 속도' 성능을 달성할 수 있게 해줍니다.

작동 방식

이 프로젝트는 CuTe-DSL을 활용하여 다양한 최적화된 커널을 구현합니다. 최신 NVIDIA GPU(H100, B200/B300, RTX 50 시리즈)를 지원하며, 표준 Python과 JAX 모두에 대한 인터페이스를 제공합니다.

대상 사용자

고성능 NVIDIA GPU를 사용하는 개발자 및 연구원 중, 정규화 및 행렬 곱셈과 같은 기본적인 AI 연산의 매우 최적화된 구현이 필요한 분들에게 적합합니다.

주요 특징

• RMSNorm, Softmax, 크로스 엔트로피, LayerNorm에 대한 최적화된 커널(전방 및 역방향 전파 모두).
• Hopper 및 Blackwell 아키텍처를 위한 특화된 GEMM(일반 행렬 곱셈) 커널.
• JAX 생태계와 원활하게 통합할 수 있는 선택적 JAX 바인딩.
• 최신 CUDA 툴킷(12.9+) 및 최첨단 GPU 하드웨어 지원.

"CuTe-DSL을 사용해 최적화된 GPU 커널을 쉽게 구현할 수 있어, 딥러닝 성능을 극대화할 수 있습니다." — @username