deepseek-ai/TileKernels

解决的问题

TileKernels 提供了一个高度优化的计算核心库，用于大型语言模型 (LLM) 训练与推理中的常见运算。其目标是达到接近硬件理论计算或内存带宽极限的性能，从而减少复杂 AI 工作负载中的瓶颈。

运作方式

该库使用 TileLang 实现，这是一种支持多种硬件后端的领域特定语言 (DSL)。这使得相同的 Python API 能够在 NVIDIA GPU (SM90/SM100) 与 Huawei Ascend NPU (950) 上高效执行，并在运行时自动选择后端。

适用对象

专为从事高性能 LLM 训练与推理的开发者与研究人员设计，特别是那些使用专家混合模型 (MoE) 或进阶量化技术的用户。

特色亮点

• MoE Routing: 优化的 top-k 专家选择与评分。
• Quantization: 支持 per-token、per-block 与 per-channel 的 FP8/FP4 转换与反量化，包含融合的 SwiGLU 运算。
• Engram: 具备融合 RMSNorm 的门控核心，并支持前向/反向传播。
• Manifold HyperConnection: 包含 Sinkhorn 归一化与混合分割/应用核心。
• Hardware Versatility: 原生支持 NVIDIA 与 Huawei Ascend 硬件后端。