DeepSeek DeepInfer 推論フレームワークのリリース

DeepSeekは、同社の大規模本番サービスを支えるオープンソースの高性能推論フレームワーク「DeepInfer」を公開しました。このフレームワークは、大規模な推論ワークロードを処理するように設計されており、特にDeepSeek-V4.1-Flashモデルをサポートし、Apache License 2.0の下でリリースされています。

コアアーキテクチャと機能

DeepInferは、スループットとレイテンシの削減に重点を置いた、大規模サービング向けの最適化スイートを提供します。主な機能は以下の通りです。

• 最適化されたカーネル: このフレームワークは、FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelectといったカスタムカーネルに加え、カスタムのTileLangカーネルを統合しています。
• 並列処理: Attention Data Parallelism (DP)、バランスの取れたContext Parallelism (CP)、および負荷分散（EPLB）を備えたMixture-of-Experts (MoE) Expert Parallelism (EP) を含む高度な並列処理戦略をサポートしています。
• デコーディングの最適化: デコーディングを加速するためのDSparkや信頼度スケジューリングによる検証、およびプリフィルオーバーヘッドを削減するためのDecoder SWA (Sliding Window Attention) バウンドリプレイなどの機能を備えています。
• 運用効率: エンジンには、ゼロオーバーヘッドのバッチスケジューリングのための非同期スケジューラ、一貫した結果を得るためのバッチ不変推論、および決定論的サンプリング機能が含まれています。
• 構造化出力: DeepInferは、JSONスキーマ、正規表現、EBNF文法などの特定の形式へのモデル生成の制約をネイティブにサポートしています。

ハードウェアのサポートと要件

DeepInferは異種混合ハードウェア環境向けに構築されており、NVIDIA SM100 GPUとHuawei Ascend 950 NPUの両方をサポートしています。このフレームワークには、Linux環境、GCC 13.0以上、およびPython 3.12が必要です。NVIDIAハードウェアの場合はCUDA 13が必要であり、Ascendプラットフォームの場合はCANN 9.2が必要です。

注目すべき点として、現在のリリースはコア推論エンジンに焦点を当てており、本番環境ですぐに使用できる完全なスタックは含まれていません。ユーザーは、独自のKVキャッシュシステム、レプリカ間の負荷分散、およびプリフィルとデコードステージの分離ロジックを用意する必要があります。

業界の背景とコミュニティの反応

DeepInferのリリースは、AIインフラストラクチャの競争環境に関する重要な議論を巻き起こしました。コミュニティメンバーは、このフレームワークがHuawei Ascendハードウェアをサポートしていることは、NVIDIA独占のエコシステムへの依存から脱却し、AIインフラを多様化させるための戦略的な取り組みであると指摘しています。

業界の観測筋は、このリリースのタイミングが、連邦システムにおけるDeepSeek製品の使用に関する米国政府の新たな規制措置と重なったことを指摘しています。一部のユーザーは、LLMホスティングの参入障壁を下げる「ゲームチェンジャー」としてこのリリースを評価する一方で、本番サービス規模で展開するには多大なエンジニアリング努力を要する専門的なツールであると強調する声もあります。

"人々がHuaweiのハードウェアを使わない主な理由は規制によるものです。もしあなたが米国にいるなら、税関でハードウェアを没収されるでしょう... 権力者がそれを義務付ける限り、Nvidiaは独占を続けるでしょう" — @handle と、ハードウェアの影響に関してあるコミュニティ参加者が指摘しました。

DeepSeekは、DeepInferの開発において、vLLM、SGLang、およびNVIDIAのTensorRT-LLMを基礎的なインスピレーションとして引用し、既存のオープンソースプロジェクトの影響を認めています。