CalvinXKY/InfraTech

分享AI Infra知识&代码练习：PyTorch、vLLM/SGLang、slime/vime框架入门⚡️、性能加速🚀、大模型基础🧠、AI软硬件🔧等

解决的问题

InfraTech 提供了一个结构化的学习路径和实用的代码示例，帮助理解 AI 模型背后复杂的底层基础设施。它弥合了高层模型使用与高效训练和运行大规模 AI 模型所需的底层系统工程之间的差距。

工作原理

该项目以精选的 Jupyter 笔记本和技术文档集合的形式组织。它涵盖了分布式训练、推理优化和硬件加速等核心概念。用户可以探索具体的实现——例如 vLLM 调度、SGLang 内存管理或自定义 PyTorch 训练循环——以了解这些系统在底层是如何运作的。

适用人群

该仓库专为希望专注于 AI 基础设施的开发者、研究人员和 AI 工程师设计。它非常适合那些希望掌握模型部署、性能调优以及流行框架内部架构机制的人。

亮点

  • 实用的 Jupyter 笔记本，用于动手学习推理和训练的内部机制。
  • 深入探讨 vLLM 和 SGLang 等流行框架，包括自定义调度器和内存管理实现。
  • 全面覆盖性能优化技术，如并行策略（TP/PP/SP/EP）、量化和投机解码。
  • 解释分布式训练基础，包括集合通信和强化学习（RL）训练-推理共置。
  • 精选关于硬件感知 AI 工程的技术文章和文档。

相关

  • 项目
    zml/zml

    ZML 是一个用 Zig 编写的开源推理框架，可将 AI 模型（包括 LLM）编译为在 NVIDIA、AMD、Intel、TPU 和 AWS Trainium 硬件上以原生速度运行。它使用 Bazel/MLIR 进行构建，提供统一的模型加载 VFS，并通过简单的平台标志提供可立即运行的示例（MNIST、LLM 等）。

  • 项目
    uxlfoundation/oneDNN

    oneDNN 是一个开源跨平台库，提供核心深度学习操作（如矩阵乘法、卷积、注意力和归一化）的高度优化实现。它是 PyTorch、TensorFlow 和 OpenVINO 等主要 AI 框架背后的加速层。

  • 项目
    wafer-ai/gpu-perf-engineering-resources

    一份精选的技术资源集合，用于学习GPU性能工程和构建高效AI推理系统。

  • 项目
    algorithmicsuperintelligence/optillm

    OptiLLM 是一个兼容 OpenAI 的推理代理，在请求时应用 20 多种推理增强技术（best‑of‑N、chain‑of‑thought、MCTS、Mixture‑of‑Agents 等），在数学、编程和逻辑任务上可获得 2‑10 倍的准确度提升，且无需任何模型训练。它通过 LiteLLM 与任何兼容 OpenAI 的提供商配合使用，提供插件系统（内存、隐私、URL 获取、代码执行、网络搜索），并可通过 pip 或 Docker 安装。