Dao-AILab/quack

何を解決するか

QuACKは、一般的なディープラーニング操作のための高性能GPUカーネルのコレクションを提供し、開発者がCuTe-DSLを使用してPythonから直接、メモリ帯域制限のある操作で「光速」のパフォーマンスを実現できるようにします。

仕組み

このプロジェクトはCuTe-DSLを利用して、さまざまな最適化されたカーネルを実装しています。最新のNVIDIA GPU（H100、B200/B300、およびRTX 50シリーズ）をサポートし、標準的なPythonとJAXの両方のインターフェースを提供します。

対象者

ハイエンドなNVIDIA GPUを使用し、正規化や行列乗算などの基本的なAI操作の高度に最適化された実装を必要とする開発者や研究者向けに設計されています。

ハイライト

• RMSNorm、Softmax、Cross Entropy、およびLayerNorm（順伝播および逆伝播の両方）に最適化されたカーネル。
• HopperおよびBlackwellアーキテクチャ向けの特化型GEMM (General Matrix Multiply) カーネル。
• JAXエコシステムとのシームレスな統合のためのオプションのJAXバインディング。
• 最新のCUDAツールキット（12.9+）および最先端のGPUハードウェアのサポート。