Neroued/ninfer

解決する問題

NInferは、NVIDIA GeForce RTX 5090上でQwen3.5 DenseおよびMoEアーキテクチャを実行するために特別に設計された高性能推論エンジンです。テキスト、画像、ビデオのプロンプトに対して、オーバーヘッドを最小限に抑える専用ランタイムを通じて、単一GPU推論のパフォーマンスを最大化することを目指しています。

仕組み

C++/CUDAでゼロから構築されたこのエンジンは、sm_120aアーキテクチャ向けに最適化されています。実行レーン数（1〜8）と単一の常駐モデルを固定で使用します。システムは、アクティブなリクエストと保持されたプレフィックスに対して共有KVプールを採用し、リソースを考慮した効率的なロングコンテキスト再利用を可能にします。BF16、INT8、FP8、NVFP4など、さまざまな重み形式と、MTPやDFlashなどの投機的デコード技術をサポートし、トークン生成を高速化します。

対象ユーザー

RTX 5090を所有し、CLIまたはOpenAI互換・Anthropic互換のHTTP APIを介して、ローカルでQwen3.5モデルのスループットとレイテンシを最大化したい開発者および研究者向けです。

ハイライト

• RTX 5090特化: Blackwellアーキテクチャ向けに特別に調整され、最大の単一GPUパフォーマンスを実現します。
• マルチモーダルサポート: テキスト、画像、複数画像、ビデオのプロンプトを処理します。
• 高度なデコード: MTP投機的デコードとDFlashを実装し、生成を高速化します。
• コンテキスト管理: デバイス/ホスト状態保持によるプライベートおよび共有の完全プレフィックス再利用を備え、TTFT（最初のトークンまでの時間）を短縮します。
• 高スループット: チャンク化プリフィルと完全バッチCUDAグラフデコードをサポートします。
• API互換性: 簡単な統合のためのOpenAIおよびAnthropic互換エンドポイントを提供します。

概要

NVIDIA RTX 5090向けに最適化されたC++/CUDA推論エンジンで、テキスト、画像、ビデオにわたるQwen3.5 DenseおよびMoEモデルに最大のパフォーマンスを提供します。

タイトル

RTX 5090で最大の単一GPUパフォーマンスを実現する専用C++/CUDA推論エンジン