pytorch/FBGEMM

FB (Facebook) + GEMM (General Matrix-Matrix Multiplication) - https://code.fb.com/ml-applications/fbgemm/

解决的问题

FBGEMM 为深度学习应用提供高度优化的内核，专注于通过使用低精度算术来提升服务器端推理的速度与效率。它解决了通常与低精度矩阵乘法和卷积相关的带宽受限操作与精度损失等挑战。

工作原理

本项目分为三个专用包：

  • FBGEMM：一个适用于 x86 机器的库，提供高性能、低精度的通用矩阵乘法 (GEMM) 和卷积，利用逐行和感知异常值的量化等技术来保持精度。
  • FBGEMM_GPU：一系列专为训练和推理设计的 PyTorch GPU 算子库，特别针对推荐系统。
  • FBGEMM_GPU GenAI：一系列专为生成式 AI 量身定制的 GPU 算子库，提供 FP8 逐行量化和集体通信等功能。

适用人群

从事深度学习推理引擎开发的开发者与研究人员，特别是在 x86 服务器或 GPU 上使用 PyTorch，且需要最大化性能并优化低精度操作的用户。

亮点

  • 低精度优化：用于高性能矩阵乘法与卷积的专用内核。
  • PyTorch 集成：作为 x86 机器上 PyTorch 量化算子的后端。
  • 量化技术：支持逐行和感知异常值的量化，以将精度损失降至最低。
  • GenAI 支持：用于生成式 AI 的专用 GPU 算子，包括 FP8 量化。
  • 广泛的硬件支持：针对 x86 服务器和 GPU 进行优化，并提供华为 Ascend NPU 的社区移植版本。

相关

  • 项目
    flashinfer-ai/flashinfer

    FlashInfer 是一个 GPU 内核库（附带 Python 包），为 LLM 推理提供超高速、低精度的注意力、GEMM、MoE 和采样操作。它能自动为从 Turing 到 Blackwell 的广泛 NVIDIA GPU 选择最佳后端（FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM），并已被 vLLM 和 TensorRT-LLM 等主流推理服务器广泛采用。

  • 项目
    deepseek-ai/DeepGEMM

    一个用于大型语言模型的高性能 CUDA 内核库，专门优化 GEMM 与 MoE 运算，具备运行时 JIT 编译功能，并在 NVIDIA SM90/SM100 GPU 上提供极致吞吐量。

  • 项目
    ztxz16/fastllm

    FastLLM 是一个基于 C++ 的、无需 PyTorch 的大型语言模型推理引擎。它支持稠密和 MoE 模型、混合 GPU/CPU/NUMA/磁盘部署、多 GPU 张量并行、推测解码（MTP/DSpark/DFlash2）、多种量化格式，并提供 Python CLI、Web UI 和 OpenAI 兼容的 API 服务器。通过 `pip install ftllm` 安装，使用 `ftllm run` 运行模型，或使用 `ftllm server` 启动服务。详尽的文档涵盖模型特定指南、性能调优和社区支持。

  • 项目
    ROCm/aiter

    一个用于 AMD ROCm 的高性能 AI 算子库，为各种 AI 框架的推理和训练工作负载提供优化的 GPU 内核。

  • 项目
    cfregly/ai-performance-engineering

    专注于GPU调优、分布式训练和高吞吐推理扩展的AI系统优化代码与资源综合集合。