pegainfer-project/pegainfer

何を解決するか

PegaInferは、PyTorchやONNXのような重いモデルフレームワークランタイムのオーバーヘッドを排除するための高性能LLM推論エンジンです。これらの依存関係を削除することで、従来の推論フレームワークと比較して、はるかに高速なコールドスタート時間とはるかに小さいメモリフットプリントを実現します。

動作方法

このエンジンはRustとCUDAで完全に構築されており、手書きのカーネルとスケジューラを備えています。GPU最適化のランタイムでは、モデル実行がネイティブパスに留まります。主な技術的実装は以下の通りです：

• カスタムカーネル：デコードに重要なパスにはCUDA、特定のモデル互換性にはTriton AOT、ページ化アテンションとサンプリングにはFlashInfer、行列乗算にはcuBLASを使用。
• CUDA Graphs：Qwenのデコードパスで使用し、カーネル起動のオーバーヘッドを排除。
• KV管理：KVキャッシュとホスト層の復元システム（pegaflow）を実装。失われたプレフィックスはホストのDRAMから復元され、再計算されません。
• マルチGPUサポート：リダクションにはNCCLを統合、特定のモデルアーキテクチャにはDeepEPシムを採用。

対象ユーザー

QwenやKimiのようなフロンティアスケールモデルを提供する必要がある開発者やエンジニア。プロダクションレベルで動作する、起動遅延が最小限で、常駐メモリ使用量が低い軽量な推論サーバーを必要とする方々。

主な特徴

• フレームワーク依存なし：実行時にPyTorchやONNXは必要ありません。
• 高速起動：コールドスタートからHTTP対応まで約3秒。vLLMと比較して約70秒。
• 低フットプリント：vLLMと比較して約5GB小さい常駐メモリフットプリント。
• 広範なモデル対応：Qwen3、Qwen3.5、DeepSeek-V2-Lite、Kimi-K2、GLM-5.2をサポート。
• OpenAI互換：/v1/completions および /v1/chat/completions エンドポイントを提供。