pegainfer-project/pegainfer

해결하는 문제

PegaInfer는 프로덕션 환경을 위한 고성능 LLM 추론 서버입니다. Python 런타임이나 PyTorch가 필요 없으며, 메모리 오버헤드와 시작 시간을 줄이고 다양한 대규모 언어 모델을 제공하기 위한 OpenAI 호환 API를 제공합니다.

작동 방식

Rust와 CUDA로 완전히 구현된 본 프로젝트는 모듈러 아키텍처를 사용하며, 공유 인프라(GPU 프리미티브, 샘플링, KV 캐시)가 모델 고유 로직에서 분리되어 있습니다. 각 지원되는 모델은 자체 스케줄러, 상태 관리, 커널을 소유하여 밀집형, MoE, 하이브리드 어텐션 모델과 같은 특정 모델 아키텍처에 최적화된 실행 경로를 제공합니다.

대상 사용자

NVIDIA GPU에서 최소한의 지연, 낮은 메모리 사용량, 높은 처리량으로 LLM을 배포해야 하는 개발자 및 엔지니어를 위한 것입니다. 특히 Python 기반 추론 스택의 대안을 찾는 사용자에게 적합합니다.

주요 특징

• Python 런타임 없음: 실행 시 PyTorch나 Python이 필요 없으며, 주로 사용되는 메모리와 콜드스타트 시간을 크게 줄입니다.
• OpenAI 호환: 스트리밍 지원이 있는 표준 /v1/completions 및 /v1/chat/completions API를 제공합니다.
• 광범위한 모델 지원: Qwen3, Qwen3.5, Gemma 4, DeepSeek-V2-Lite, Kimi-K2/K3, GLM-5.2 등 다양한 모델 패밀리를 지원합니다.
• 고급 추론 기술: 텐서 병렬, 프리픽스 캐싱, KV 오프로딩, 그리고 추측 디코딩(DFlash/DSpark)을 구현했습니다.
• 하드웨어 최적화: NVIDIA GPU에 특화되어 있으며, Blackwell 아키텍처 및 전용 커널을 지원합니다.