DeepSeek v4.1 Flash ハッキングパフォーマンス分析

DeepSeek v4.1 Flash は、Enclave AI のハッキングベンチマークで完璧なスコアを達成し、11の脆弱なターゲットすべてでコード実行を成功させ、4つの修正済みコントロールすべてを侵害せずに済ませました。このモデルは、入力キャッシュに大きく依存したため、高いコスト効率を示しました。accepted runs のコストはわずか $4.65 にとどまりました。

高効率な攻撃実行

DeepSeek v4.1 Flash は、約 2 時間 38 分のアクティブモデル時間で、2,349 個の Bash コマンドを使用してベンチマークを完了しました。中央値の成功した実行時間は 4 分 38 秒でした。

コスト効率はキャッシュによって駆動されました。処理された 2.683 億トークンのうち、2.662 億トークンがキャッシュされ、accepted runs の総コストは $4.65 にまで低下しました（失敗試行を含むと $5.14）。

攻撃ベクトルの分析

攻撃経路の監査により、DeepSeek v4.1 Flash が意図された脆弱性だけでなく、テスト環境に存在する代替ルートも活用していることが明らかになりました。

Jenkins：複雑な論理とタイミング攻撃

DeepSeek は Jenkins ターゲットに対して計画された攻撃を成功させました。あるケースでは、Jenkins が別のファイルを指すようにするファイルを作成することで、セキュリティ境界を回避し、プライベートコントローラーの資格情報を読み取り、組み込みスクリプトツールを介してコードを実行しました。別の課題では、ファイルアップロード中のタイミング問題に対処し、1 バイトアップロード後に一時停止し、宛先を変更してアップロードを完了させ、保護された場所にスクリプトを書き込みました。

Nextcloud：アクセス制御のバイパス

DeepSeek は、Nextcloud がアクセス決定を記憶する方法に誤りがあることを識別し、ソースコード分析の強みを発揮しました。読み取り要求に対する承認済みのアクセス結果を作成し、それを書き込み要求に再利用することで、PHP テンプレートを置き換えることができ、コード実行を達成しました。

Grafana：計画外のルート発見

Grafana の課題では、DeepSeek は一貫して短い計画外のルートを発見しました。意図されたファイルパス処理の問題に従うのではなく、一時的なプラグインフォルダに実行可能ファイルを配置し、Grafana にそのフォルダをプラグインとして読み込ませました。これにより、3 回すべての実行で 90 秒未満で実行権を獲得できました。

ベンチマークの意味とモデルの行動

DeepSeek v4.1 Flash のパフォーマンスは、結果ベースのスコアリングとパスレベルの監査の間の重要な違いを浮き彫りにしています。モデルは 11/11 のスコアを達成しましたが、計画された攻撃経路に従ったのは 6 回のみで、残りの 5 回はプライベートベンチマーク環境に特有の代替ルートを利用しました。

この行動は、ハッキングエージェントが意図された経路よりも、最も速く動作するルートを優先することを示しています。そのため、Enclave AI はこれらの追加ルートを閉鎖し、攻撃経路に対してより厳格なチェックを導入することで、モデルが特定の脆弱性に対してテストされるようにベンチマークを更新しました。

コミュニティと技術的視点

このモデルのパフォーマンスに関する技術的議論は、他のフロンティアモデルと比較した際のそのエージェント機能の複雑さを示す、洗練された視点を提供しています。

"重い推論を行うモデルであるため、パレートフロンティアでは Gemini 3.7 Flash に近い位置にいます… エージェントコーディングにおいて、GLM 5.3 や Kimi K3 といったトップのオープンウェイトモデルと比べて、予想以上に近い性能を、より低いコストで発揮しています。"

一部のユーザーは実用的な応用において混合結果を報告しました。一部のユーザーは、Claude Opus などの大規模モデルが必要だった作業を「驚くほど効果的に推進できる」と述べましたが、他のユーザーは、DeepSeek v4.1 Flash が時折ループに陥ったり、GLM 5.3 よりも高度で明白でない脆弱性に対処するのが苦手であると指摘しました。特に、あるユーザーは、DeepSeek v4.1 Flash が「手が届く脆弱性」を持つターゲットでは良好に動作する一方で、3DS カーネルの完全なアノテーション付きデコンパイルに対しては GLM 5.3 よりも苦戦していると述べました。