tile-ai/tilelang-ascend

Ascend TileLang adapter

解决的问题

TileLang-Ascend 解决了为华为昇腾 NPU 创建高性能 AI 计算核心的困难。它允许开发者使用 Python 风格的语法编写优化核心（如 GEMM、注意力机制和向量运算），无需手动处理复杂的底层 NPU 优化，同时保持顶尖的性能。

运作原理

这是一个建立在 TVM 编译器基础设施之上的领域特定语言 (DSL)。它通过管理内存层级（Global、L1 和 L0 缓冲区）并提供专门的编译器后端（Ascend C & PTO 和 AscendNPU IR），将高阶 Python 风格代码映射到昇腾 NPU 架构。该系统支持用于自动同步和作用域分离的“开发者模式”，以及用于手动控制执行作用域和同步标志的“专家模式”。

目标用户

需要专门为华为昇腾 A2 和 A3 处理器优化计算工作负载的 AI 工程师与核心开发者。

特色亮点

  • 广泛的算子支持：包含 GEMM、Flash Attention、Sparse Flash Attention、卷积和 Softmax 的实现。
  • 内存优化：具备自动缓冲区重用以减少片上内存占用，以及自动工作空间分配。
  • 性能工具：支持软件流水线化 (T.Pipelined)、自动向量化 (T.Parallel) 和 L2 缓存重排 (swizzling)。
  • PyTorch 集成：提供 torch_tl_ascend 以实现 PyTorch 与 NPU 之间的无缝工作流程。

相关

  • 项目
    deepseek-ai/DeepGEMM-Ascend

    DeepGEMM‑Ascend 是 DeepGEMM 矩阵乘法库的开源、专为 Ascend NPU 移植的版本。它提供 API 兼容的 BF16/FP8/FP4 GEMM、MQA 和 MoE 内核，隐藏 Ascend 的低级布局复杂性，并声称在 Ascend 950 上可达 98‑99% 的硬件利用率。通过构建 C++ 扩展后可用 pip 安装，目标用户为需要在华为硬件上快速线性代数原语的 AI 工程师。

  • 项目
    tile-ai/tilelang

    基于 TVM 构建的简洁领域特定语言和编译器，用于开发 GEMM 和 FlashAttention 等高性能 GPU/CPU/NPU 内核。

  • 项目
    deepseek-ai/TileKernels

    一个用于 LLM 训练与推理的高度优化核心库，提供 MoE 路由、量化与 Engram 门控的高性能实现。

  • 项目
    ztxz16/fastllm

    FastLLM 是一个基于 C++ 的、无需 PyTorch 的大型语言模型推理引擎。它支持稠密和 MoE 模型、混合 GPU/CPU/NUMA/磁盘部署、多 GPU 张量并行、推测解码（MTP/DSpark/DFlash2）、多种量化格式，并提供 Python CLI、Web UI 和 OpenAI 兼容的 API 服务器。通过 `pip install ftllm` 安装，使用 `ftllm run` 运行模型，或使用 `ftllm server` 启动服务。详尽的文档涵盖模型特定指南、性能调优和社区支持。

  • 项目
    xLLM-AI/xllm

    一个针对中国 AI 加速器优化的高效 LLM 推理框架，旨在实现高吞吐量、低延迟的企业级部署。