DeepSeek-V4 リリースノート: AIエージェント向けの効率的な1Mトークン・コンテキスト

DeepSeekは、長文コンテキストのAgenticなワークロードにおける効率性のボトルネックを解決するために設計された、一連のMixture-of-Experts (MoE) モデルであるDeepSeek-V4をリリースしました。一般的なベンチマークは競争力がありますが、主な革新は、KVキャッシュのメモリ使用量と推論FLOPsを劇的に削減し、1Mトークンのコンテキストをエージェントにとって計算可能なものにする新しいアテンション・アーキテクチャにあります。

ハイブリッド・アテンションによる効率的な長文コンテキスト推論

DeepSeek-V4は、アテンションを2つのインターリーブされたメカニズム、Compressed Sparse Attention (CSA) と Heavily Compressed Attention (HCA) に分割することで、1Mトークンのコンテキストウィンドウを実現しています。このアーキテクチャにより、KVキャッシュのサイズは、bfloat16で8ヘッドの標準的なgrouped query attention (GQA) に必要なサイズの約2%に削減されます。

Compressed Sparse Attention (CSA)

CSAは、学習された positional bias を持つ softmax-gated pooling を使用して、シーケンス方向にKVエントリを4倍圧縮します。パフォーマンスを維持するために、「lightning indexer」（FP4、ReLU-scored multi-head dot productsを使用）が、クエリごとに上位k個の圧縮ブロックを選択します。スライディングウィンドウ・ブランチは、最新の未圧縮トークンを処理するために使用されます。

Heavily Compressed Attention (HCA)

HCAは、KVエントリに対してより強力な128倍の圧縮を採用しています。結果として得られる圧縮シーケンスは非常に短いため、モデルはスパースな選択を必要とせず、すべての圧縮ブロックに対して密なアテンションを使用できます。CSAと同様に、HCAも最新性を確保するためのスライディングウィンドウ・ブランチを含んでいます。

アーキテクチャの実装

DeepSeek-V4-Proモデル（61レイヤー）では、レイヤー0–1がHCAを使用し、レイヤー2–60はCSAとHCAを交互に使用します。最終的なMTPブロックは、スライディングウィンドウ・アテンションのみを使用します。メモリをさらに削減するために、モデルはほとんどのKVエントリにFP8ストレージを、CSA lightning indexerにはFP4を使用しています。

エージェント特化の最適化とインフラストラクチャ

アテンション・メカニズムに加えて、DeepSeek-V4は、マルチステップのツール使用におけるAIエージェントの信頼性と一貫性を向上させるために、3つの具体的な設計上の選択肢を取り入れています。

ツール呼び出しをまたぐ思考のインターリーブ

新しいユーザーメッセージを受信した際に推論トレースを破棄していた以前のバージョンとは異なり、V4はツール呼び出しが関与する場合、ユーザーメッセージの境界を越えて推論内容を保持します。これにより、モデルは長期的なタスクにわたって累積的な思考の連鎖（chain of thought）を維持できます。ただし、コンテキストを節約するために、ツールを使用しない会話では推論を破棄する標準的な動作が維持されています。

専用のツール呼び出しスキーマ

JSON-in-string形式でよく見られるパースエラーやエスケープの失敗を減らすために、V4は以下を導入しています：

• 特別な |DSML| トークン。
• XMLベースのツール呼び出しフォーマット。
• 文字列パラメータ (string="true") と構造化JSONパラメータ (string="false") を明示的に分離するパラメータシステム。

RLトレーニングのためのDSec Sandbox

エージェントの動作は、RustベースのプラットフォームであるDeepSeek Elastic Compute (DSec) 内の強化学習 (RL) を使用してトレーニングされました。DSecは、単一のPython SDKを介して、関数呼び出し、コンテナ、microVMs (Firecracker)、およびフルVM (QEMU) をサポートしています。主な機能には、高速な画像読み込みとプリエンプション（中断）に安全な軌跡リプレイのためのレイヤード3FSストレージが含まれており、コンテナの起動や中断されたトレーニングステップによってRLのロールアウトが遅延しないようにしています。

パフォーマンスとベンチマーク

DeepSeek-V4-Pro-Maxは、エージェント中心のベンチマークにおいて、最先端のクローズドモデルと同等の性能を示しています：

• SWE Verified: 80.6 解決（Opus-4.6-Maxの80.8、Gemini-3.1-Proの80.6に匹敵）。
• MCPAtlas Public: 73.6（Opus-4.6-Maxの73.8に次ぐ第2位）。
• Toolathlon: 51.8（Gemini-3.1-Proの48.8、K2.6の50.0を上回る）。
• Terminal Bench 2.0: 67.9（GLM-5.1やK2.6を上回るが、GPT-5.4-xHighには及ばない）。

PyTorch、CUDA、Rust、C++を含む内部R&Dコーディングベンチマークにおいて、V4-Pro-Maxは67%の合格率を達成しました。長文コンテキスト検索（MRCR 8-needle）は、256Kトークンまで0.82以上を維持し、1Mトークンでは0.59を保持しています。

モデルの可用性と使用方法

DeepSeekは、Hugging Face Hubで4つのチェックポイントを公開しています：

モデル	総パラメータ数	アクティブ・パラメータ数	タイプ
DeepSeek-V4-Pro	1.6T	49B	Instruct
DeepSeek-V4-Flash	284B	13B	Instruct
DeepSeek-V4-Pro-Base	1.6T	49B	Base
DeepSeek-V4-Flash-Base	284B	13B	Base

Instructモデルは3つの推論モードをサポートしています：Non-think（高速）、Think High（<think> ブロック内での明示的な推論）、および Think Max（最大限の試行、少なくとも384Kのコンテキストウィンドウが必要）。推奨されるサンプリングパラメータは temperature=1.0 および top_p=1.0 です。