wafer-ai/gpu-perf-engineering-resources

A curated resource list for learning AI performance engineering, from GPU fundamentals to production inference.

解决的问题

本项目为需要理解和优化AI工作负载GPU性能的工程师提供了一份结构化、精选的路线图。它弥合了高层模型架构与高效运行大规模推理所需的底层硬件执行之间的差距。

工作原理

该仓库作为一个全面的参考库。它按逻辑顺序组织，从GPU编程的基本概念开始，逐步深入到内核优化、推理引擎设计和分布式系统架构。它依赖主要来源，包括研究论文、官方硬件文档和高性能实现仓库。

适用人群

适用于从事AI基础设施的软件工程师、性能工程师和研究人员。对于构建或优化推理引擎、编写自定义GPU内核或管理大规模分布式模型服务的从业者尤其有用。

亮点

  • 一份“从这里开始”指南，为推理建立心智模型，从请求处理到硬件执行。
  • 深入探讨内核优化，涵盖矩阵乘法、张量核心和注意力机制。
  • 关于现代推理引擎的广泛资源，包括连续批处理、KV缓存管理和投机解码。
  • 覆盖分布式推理技术，如混合专家（MoE）服务和预填充-解码分离。
  • 针对特定硬件架构的技术参考，包括NVIDIA、AMD、Google TPU和AWS Trainium。

相关

  • 项目
    CalvinXKY/InfraTech

    InfraTech 是一个教育资源和实用代码练习的集合，旨在帮助开发者掌握 AI 基础设施，包括模型训练、推理优化和分布式系统。

  • 项目
    zml/zml

    ZML 是一个用 Zig 编写的开源推理框架，可将 AI 模型（包括 LLM）编译为在 NVIDIA、AMD、Intel、TPU 和 AWS Trainium 硬件上以原生速度运行。它使用 Bazel/MLIR 进行构建，提供统一的模型加载 VFS，并通过简单的平台标志提供可立即运行的示例（MNIST、LLM 等）。

  • 项目
    algorithmicsuperintelligence/optillm

    OptiLLM 是一个兼容 OpenAI 的推理代理，在请求时应用 20 多种推理增强技术（best‑of‑N、chain‑of‑thought、MCTS、Mixture‑of‑Agents 等），在数学、编程和逻辑任务上可获得 2‑10 倍的准确度提升，且无需任何模型训练。它通过 LiteLLM 与任何兼容 OpenAI 的提供商配合使用，提供插件系统（内存、隐私、URL 获取、代码执行、网络搜索），并可通过 pip 或 Docker 安装。

  • 项目
    ModelTC/LightLLM

    LightLLM 是一个基于 Python 的高性能推理与服务框架，专为大型语言模型（LLM）设计。它结合了快速的内核（FlashAttention、Triton）与轻量级的 token 级 KV 缓存管理，支持多 GPU 扩展，并加入了研究级功能，如受限解码和 SLA 感知的请求调度。