openinfer-project/openinfer

Pure Rust + CUDA LLM inference engine — no PyTorch, OpenAI-compatible, serves Qwen3 to Kimi-K2

解決する課題

openinferは、PyTorchやONNXのような重量級のモデルフレームワーク・ランタイムに関連するオーバーヘッドを排除するために設計された、高性能なLLM推論エンジンです。これらの依存関係を排除することで、大幅に高速なコールドスタート時間、より小さなメモリフットプリント、そしてマルチターンチャットやエージェント的ワークフローにおけるレイテンシの低減を実現します。

仕組み

完全にRustとCUDAで構築されたこのエンジンは、手書きのカーネルとカスタムスケジューラを使用しています。CUDA Graphsを活用してデコードパスにおけるカーネル起動のオーバーヘッドを排除し、openinfer-kv-offloadを介した階層型KVキャッシュシステムを採用することで、追い出されたプレフィックスを再計算する代わりにホストDRAMから復元できます。特定のモデルに対しては、Triton AOTカーネル、Paged Attention用のFlashInfer、およびマルチGPU通信用のNCCLを統合しています。

対象者

Pythonベースのランタイムの重みなしに、最先端規模のモデルに対して最小限の起動レイテンシ、低い常駐メモリ使用量、および高いスループットを必要とする、プロダクショングレードのLLMサービスを構築する開発者およびエンジニア。

ハイライト

  • ゼロフレームワーク・ランタイム: PyTorchやONNXは不要。デフォルトのビルドは純粋なRustとCUDA。
  • 迅速な起動: vLLMなどのフレームワークでは大幅に時間がかかるのに対し、コールドスタートは約3秒で完了します。
  • 低メモリフットプリント: アイドル時の常駐メモリ使用量は、vLLMと比較して約5倍小さくなります。
  • 最先端モデルのサポート: Qwen3, Qwen3.5, DeepSeek-V2-Lite, および1兆パラメータのKimi-K2を含むモデルをサポートしています。
  • OpenAI互換: 簡単な統合のために /v1/completions エンドポイントを提供します。