wafer-ai/gpu-perf-engineering-resources

A curated resource list for learning AI performance engineering, from GPU fundamentals to production inference.

해결하는 문제

이 프로젝트는 AI 워크로드를 위한 GPU 성능을 이해하고 최적화해야 하는 엔지니어를 위한 구조화되고 큐레이션된 로드맵을 제공합니다. 고수준 모델 아키텍처와 대규모 추론을 효율적으로 실행하는 데 필요한 저수준 하드웨어 실행 사이의 격차를 해소합니다.

작동 방식

이 저장소는 포괄적인 참조 라이브러리 역할을 합니다. 기본 GPU 프로그래밍 개념에서 시작하여 커널 최적화, 추론 엔진 설계, 분산 시스템 아키텍처로 진행되는 논리적 순서로 구성되어 있습니다. 연구 논문, 공식 하드웨어 문서, 고성능 구현 저장소를 포함한 1차 소스에 의존합니다.

대상 독자

AI 인프라에서 작업하는 소프트웨어 엔지니어, 성능 엔지니어, 연구자를 대상으로 합니다. 추론 엔진을 구축하거나 최적화하고, 사용자 정의 GPU 커널을 작성하거나, 대규모 분산 모델 서빙을 관리하는 사람들에게 특히 유용합니다.

주요 내용

  • 요청 처리부터 하드웨어 실행까지 추론에 대한 정신적 모델을 확립하는 "여기서 시작" 가이드.
  • 행렬 곱셈, 텐서 코어, 어텐션 메커니즘을 다루는 커널 최적화에 대한 심층 분석.
  • 연속 배칭, KV 캐시 관리, 추측 디코딩을 포함한 현대 추론 엔진에 대한 광범위한 리소스.
  • Mixture-of-Experts(MoE) 서빙 및 프리필-디코드 분리와 같은 분산 추론 기술에 대한 설명.
  • NVIDIA, AMD, Google TPU, AWS Trainium을 포함한 특정 하드웨어 아키텍처에 대한 기술 참조.

관련

  • 프로젝트
    CalvinXKY/InfraTech

    InfraTech는 개발자가 모델 훈련, 추론 최적화, 분산 시스템을 포함한 AI 인프라를 마스터하는 데 도움을 주기 위해 설계된 교육 자료 및 실용적인 코드 연습 모음입니다.

  • 프로젝트
    zml/zml

    ZML은 Zig로 작성된 오픈소스 추론 프레임워크로, NVIDIA, AMD, Intel, TPU, AWS Trainium 하드웨어에서 AI 모델(LLL 포함)을 네이티브 속도로 실행할 수 있도록 컴파일합니다. Bazel/MLIR를 빌드에 사용하며, 통합 모델 로딩 VFS를 제공하고, MNIST, LLM 등 즉시 실행 가능한 예제를 간단한 플랫폼 플래그로 제공합니다.

  • 프로젝트
    algorithmicsuperintelligence/optillm

    OptiLLM은 OpenAI 호환 추론 프록시로, 요청 시 20개 이상의 추론 강화 기법(best‑of‑N, chain‑of‑thought, MCTS, Mixture‑of‑Agents 등)을 적용하여 수학, 코딩, 논리 작업에서 2~10배 더 높은 정확도를 제공합니다. 모델 훈련은 필요 없습니다. LiteLLM을 통해 모든 OpenAI 호환 공급자와 작동하며, 플러그인 시스템(메모리, 프라이버시, URL 가져오기, 코드 실행, 웹 검색)을 제공하고 pip 또는 Docker로 설치할 수 있습니다.

  • 프로젝트
    ModelTC/LightLLM

    LightLLM은 Python 기반의 고성능 추론 및 서빙 프레임워크로, 대규모 언어 모델(LLM)을 위해 설계되었습니다. 빠른 커널(FlashAttention, Triton)과 경량 토큰‑레벨 KV‑캐시 관리를 결합하고, 멀티 GPU 확장을 지원하며, 제약 디코딩 및 SLA‑인식 요청 스케줄링과 같은 연구 수준 기능을 제공합니다.