CalvinXKY/InfraTech

해결하는 문제

InfraTech는 AI 모델 뒤에 있는 복잡한 인프라를 이해하기 위한 구조화된 학습 경로와 실용적인 코드 예제를 제공합니다. 고수준 모델 사용과 대규모 AI 모델을 효율적으로 훈련하고 실행하는 데 필요한 저수준 시스템 엔지니어링 사이의 격차를 해소합니다.

작동 방식

이 프로젝트는 Jupyter 노트북과 기술 문서의 선별된 모음으로 구성됩니다. 분산 훈련, 추론 최적화, 하드웨어 가속과 같은 핵심 개념을 다룹니다. 사용자는 vLLM 스케줄링, SGLang 메모리 관리, 사용자 정의 PyTorch 훈련 루프와 같은 특정 구현을 탐구하여 이러한 시스템이 내부적으로 어떻게 작동하는지 확인할 수 있습니다.

대상 독자

이 저장소는 AI 인프라를 전문으로 하려는 개발자, 연구자, AI 엔지니어를 위해 설계되었습니다. 모델 배포, 성능 튜닝, 인기 있는 프레임워크의 내부 아키텍처의 메커니즘을 마스터하려는 사람들에게 이상적입니다.

주요 특징

• 추론 및 훈련 내부를 실습으로 배우기 위한 실용적인 Jupyter 노트북.
• 사용자 정의 스케줄러 및 메모리 관리 구현을 포함한 vLLM 및 SGLang과 같은 인기 프레임워크에 대한 심층 분석.
• 병렬 전략(TP/PP/SP/EP), 양자화, 추측 디코딩과 같은 성능 최적화 기술에 대한 포괄적인 다루기.
• 집단 통신 및 강화 학습(RL) 훈련-추론 공동 배치를 포함한 분산 훈련 기초에 대한 설명.
• 하드웨어 인식 AI 엔지니어링에 대한 선별된 기술 문서 및 문서.