wafer-ai/gpu-perf-engineering-resources

A curated resource list for learning AI performance engineering, from GPU fundamentals to production inference.

解決する問題

このプロジェクトは、AIワークロードのGPUパフォーマンスを理解し最適化する必要があるエンジニア向けの、構造化された厳選されたロードマップを提供します。高レベルのモデルアーキテクチャと、大規模な推論を効率的に実行するために必要な低レベルのハードウェア実行との間のギャップを埋めます。

仕組み

このリポジトリは、包括的なリファレンスライブラリとして機能します。基本的なGPUプログラミングの概念から始まり、カーネル最適化、推論エンジンの設計、分散システムアーキテクチャへと進む論理的な進行に編成されています。研究論文、公式ハードウェアドキュメント、高性能実装リポジトリなど、一次情報源に依存しています。

対象読者

これは、AIインフラストラクチャに取り組むソフトウェアエンジニア、パフォーマンスエンジニア、研究者を対象としています。推論エンジンの構築や最適化、カスタムGPUカーネルの作成、大規模な分散モデルサービングの管理を行う人々に特に役立ちます。

ハイライト

  • リクエスト処理からハードウェア実行までの推論のメンタルモデルを確立する「Start here」ガイド。
  • 行列乗算、テンソルコア、アテンションメカニズムをカバーするカーネル最適化への深掘り。
  • 連続バッチ処理、KVキャッシュ管理、投機的デコードなど、最新の推論エンジンに関する豊富なリソース。
  • Mixture-of-Experts（MoE）サービングやプレフィル・デコード分離など、分散推論技術のカバレッジ。
  • NVIDIA、AMD、Google TPU、AWS Trainiumなど、特定のハードウェアアーキテクチャ向けの技術リファレンス。

関連

  • プロジェクト
    CalvinXKY/InfraTech

    InfraTechは、モデルトレーニング、推論最適化、分散システムなど、AIインフラストラクチャを習得するための開発者向けの教育リソースと実践的なコード演習のコレクションです。

  • プロジェクト
    zml/zml

    ZML は Zig で書かれたオープンソースの推論フレームワークで、NVIDIA、AMD、Intel、TPU、AWS Trainium ハードウェア上で AI モデル（LLM を含む）をネイティブ速度で実行できるようにコンパイルします。Bazel/MLIR をビルドに使用し、統合モデル読み込み VFS を提供し、MNIST や LLM など即時実行可能な例を、シンプルなプラットフォームフラグで利用可能にしています。

  • プロジェクト
    algorithmicsuperintelligence/optillm

    OptiLLM は、OpenAI 互換の推論プロキシで、リクエスト時に 20 以上の推論強化テクニック（best‑of‑N、chain‑of‑thought、MCTS、Mixture‑of‑Agents など）を適用し、数学、コーディング、ロジックタスクで 2〜10 倍の精度向上を実現します。モデルのトレーニングは不要です。LiteLLM を介して任意の OpenAI 互換プロバイダーと連携し、プラグインシステム（メモリ、プライバシー、URL 取得、コード実行、ウェブ検索）を提供し、pip または Docker でインストールできます。

  • プロジェクト
    ModelTC/LightLLM

    LightLLM は Python ベースの高性能推論・サービングフレームワークで、大規模言語モデル（LLM）向けに設計されています。高速カーネル（FlashAttention、Triton）と軽量なトークンレベル KV キャッシュ管理を組み合わせ、マルチ GPU スケーリングをサポートし、制約付きデコードや SLA 対応リクエストスケジューリングといった研究レベルの機能も提供します。