deepseek-ai/DeepInfer

DeepInfer – 高性能 LLM 推論エンジン

概要 – DeepInfer は、DeepSeek AI が大規模言語モデル（現在は DeepSeek-V4.1-Flash ファミリー）を本番規模で提供するために構築したオープンソースの推論フレームワークです。NVIDIA SM100 GPU と Huawei Ascend 950 NPU でのオフライン、高スループット生成に焦点を当てています。

主な機能

• 最適化されたカーネル – FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、カスタム TileLang オペレーションを統合し、高速なアテンション、行列乗算、サンプリングを実現します。
• 並列処理 – アテンションデータ並列、バランスの取れた計算並列、負荷分散を備えた混合エキスパート（MoE）エキスパート並列をサポートします。
• ドラフトトークン検証（DSpark） – 投機的トークンを生成し、信頼度ベースの検証を使用してデコードレイテンシを削減します。
• SWA 有界リプレイ – KV キャッシュの限られたサフィックスを再利用してプリフィル作業を削減します。
• 非同期バッチスケジューラ – CPU スケジューリングと GPU 実行をオーバーラップさせ、「ゼロオーバーヘッド」バッチ処理を実現します。
• バッチ不変かつ決定論的サンプリング – 有効にすると（NVIDIA のみ）、バッチ構成に関係なく同一の出力を保証します。
• 構造化出力 – SamplingParams を使用して、生成を正規表現、JSON スキーマ、または EBNF 文法に制約できます。

サポートされるハードウェアとモデル

• NVIDIA SM100 GPU（CUDA 13）
• Huawei Ascend 950 NPU（CANN 9.2）
• 現在、チェックポイント deepseek-ai/DeepSeek-V4.1-Flash-1017 が同梱されています。

始め方

1. Linux、GCC ≥ 13、Python 3.12、および適切なアクセラレータスタック（CUDA または CANN）をインストールします。
2. リポジトリをクローンし、新しい Python 3.12 仮想環境を作成し、DEEPINFER_ACCELERATOR=nvidia（または ascend）を設定して、./build.sh を実行します。
3. 提供されている例を実行します：

   python examples/offline_inference.py
   

   初回実行時に Hugging Face からモデルを取得します。DEEPINFER_HF_MODEL_DIR でローカルコピーを指定できます。

パフォーマンス – ベンチマーク（プリフィル用に 4 つの SM100 GPU、デコード用に 64 つで実行）は、スループットとレイテンシのトレードオフを示しています。リポジトリにはパレート曲線を再現するスクリプトが含まれています。

評価 – eval/ フォルダには、精度、レイテンシ、その他のメトリクスを測定するためのスクリプトと手順が含まれています。

ライセンス – Apache 2.0。

他のプロジェクトとの関係 – DeepInfer は vLLM、SGLang、NVIDIA TensorRT-LLM のアイデアに基づいて構築されており、DeepSeek 固有のカーネルとスケジューリング最適化を追加しています。

---

すべての詳細はリポジトリの README から直接取得されています。