deepseek-ai/TileKernels

解決する課題

TileKernels は、大規模言語モデル (LLM) の学習および推論で使用される一般的な演算のための、高度に最適化された計算カーネルライブラリを提供します。ハードウェアの理論上の計算能力やメモリ帯域幅の限界に近いパフォーマンスを実現し、複雑な AI ワークロードにおけるボトルネックを解消することを目的としています。

仕組み

このライブラリは、複数のハードウェアバックエンドをサポートするドメイン固有言語 (DSL) である TileLang を使用して実装されています。これにより、同じ Python API を NVIDIA GPU (SM90/SM100) と Huawei Ascend NPU (950) の両方で効率的に実行でき、実行時にバックエンドが自動的に選択されます。

対象ユーザー

高性能な LLM の学習や推論に取り組む開発者や研究者、特に Mixture-of-Experts (MoE) や高度な量子化技術を使用するユーザー向けに設計されています。

主な特徴

• MoE Routing: 最適化された top-k エキスパート選択とスコアリング。
• Quantization: per-token、per-block、per-channel の FP8/FP4 キャスティングおよび逆量子化をサポート（融合された SwiGLU 演算を含む）。
• Engram: RMSNorm を融合したゲーティングカーネルで、順伝播/逆伝播をサポート。
• Manifold HyperConnection: Sinkhorn 正規化およびミックス分割/適用カーネルを含む。
• Hardware Versatility: NVIDIA および Huawei Ascend ハードウェアバックエンドをネイティブサポート。