deepseek-ai/DeepInfer

DeepInfer – 고성능 LLM 추론 엔진

개요 – DeepInfer는 DeepSeek AI가 대규모 언어 모델(현재 DeepSeek-V4.1-Flash 제품군)을 프로덕션 규모로 제공하기 위해 구축한 오픈소스 추론 프레임워크입니다. NVIDIA SM100 GPU와 Huawei Ascend 950 NPU에서 오프라인, 고처리량 생성을 중점적으로 다룹니다.

주요 기능

• 최적화된 커널 – FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、カスタム TileLang オペレーションを統合し、高速なアテンション、行列乗算、サンプリングを実現します。
• 並列処理 – アテンションデータ並列、バランスの取れた計算並列、負荷分散を備えた混合エキスパート（MoE）エキスパート並列をサポートします。
• ドラフトトークン検証（DSpark） – 投機的トークンを生成し、信頼度ベースの検証を使用してデコードレイテンシを削減します。
• SWA 有界リプレイ – KV キャッシュの限られたサフィックスを再利用してプリフィル作業を削減します。
• 非同期バッチスケジューラ – CPU スケジューリングと GPU 実行をオーバーラップさせ、「ゼロオーバーヘッド」バッチ処理を実現します。
• バッチ不変かつ決定論的サンプリング – 有効にすると（NVIDIA のみ）、バッチ構成に関係なく同一の出力を保証します。
• 構造化出力 – SamplingParams を使用して、生成を正規表現、JSON スキーマ、または EBNF 文法に制約できます。

サポートされるハードウェアとモデル

• NVIDIA SM100 GPU（CUDA 13）
• Huawei Ascend 950 NPU（CANN 9.2）
• 現在、チェックポイント deepseek-ai/DeepSeek-V4.1-Flash-1017 が同梱されています。

始め方

1. Linux、GCC ≥ 13、Python 3.12、および適切なアクセラレータスタック（CUDA または CANN）をインストールします。
2. リポジトリをクローンし、新しい Python 3.12 仮想環境を作成し、DEEPINFER_ACCELERATOR=nvidia（または ascend）を設定して、./build.sh を実行します。
3. 提供された例を実行します：

   python examples/offline_inference.py
   

   初回実行時には Hugging Face からモデルを取得します。DEEPINFER_HF_MODEL_DIR でローカルコピーを指定できます。

性能 – ベンチマーク（プリフィル用に 4 つの SM100 GPU、デコード用に 64 で実行）は、スループットとレイテンシのトレードオフを示しています。リポジトリにはパレート曲線を再現するスクリプトが含まれています。

評価 – eval/ フォルダには、精度、レイテンシ、その他のメトリクスを測定するためのスクリプトと手順が含まれています。

ライセンス – Apache 2.0。

他のプロジェクトとの関係 – DeepInfer は vLLM、SGLang、NVIDIA TensorRT-LLM のアイデアに基づいて構築されており、DeepSeek 固有のカーネルとスケジューリング最適化を追加しています。

---

すべての詳細はリポジトリの README から直接取得されています。