pegainfer-project/pegainfer

何を解決するか

PegaInferは本番環境向けに設計された高性能LLM推論サーバーです。PythonランタイムやPyTorchの必要性を排除することで、メモリオーバーヘッドと起動時間を削減し、さまざまな大規模言語モデルを提供するためのOpenAI互換APIを提供します。

動作方法

RustとCUDAで完全に構築された本プロジェクトは、モジュールアーキテクチャを採用しており、共有インフラ（GPUプリミティブ、サンプリング、KVキャッシュ）がモデル固有のロジックから分離されています。各サポート対象モデルは独自のスケジューラ、状態管理、カーネルを所有しており、密行列、MoE、ハイブリッドアテンションモデルなど、特定のモデルアーキテクチャに最適化された実行パスを実現できます。

対象ユーザー

NVIDIA GPU上で最小限の遅延、低メモリ使用量、高スループットでLLMをデプロイする必要がある開発者やエンジニア向けです。特にPythonベースの推論スタックの代替を求める方々に適しています。

主な特徴

• ゼロのPythonランタイム: 実行時にPyTorchやPythonを必要とせず、常駐メモリとコールドスタート時間を大幅に削減します。
• OpenAI互換: ストリーミング対応の標準 /v1/completions および /v1/chat/completions APIを提供します。
• 広範なモデル対応: Qwen3、Qwen3.5、Gemma 4、DeepSeek-V2-Lite、Kimi-K2/K3、GLM-5.2など、さまざまなモデルファミリーをサポートします。
• 高度な推論技術: テンソル並列、プレフィックスキャッシュ、KVオフロード、および推測デコード（DFlash/DSpark）を実装しています。
• ハードウェア最適化: NVIDIA GPUに特化しており、Blackwellアーキテクチャおよび専用カーネルをサポートしています。