Mistral Large 4 (Le Chonk) リリースノート

TL;DR

Mistral Large 4 (別名 Le Chonk) は、1兆パラメータのマルチモーダルMixture-of-Expertsモデルであり、100万トークンのコンテキストウィンドウを備えています。FP8およびNVFP4形式でHugging Faceにて公開されており、サイバーセキュリティ、コーディングエージェント、視覚言語アプリケーションにおいて強力なパフォーマンスを発揮します。また、Mistral Ecosystem Open-Weight Licenseの下でオープンウェイトとして提供されます。

モデルの概要

Mistral Large 4は、テキストと画像を入力し、テキストを出力するマルチモーダルかつ多言語対応のMoEモデルです。合計で約1兆パラメータを保持し、トークンごとに490億パラメータがアクティブになります。このモデルは100万トークンのコンテキストウィンドウをサポートしており、極めて長距離の推論が可能です。

2つの公式チェックポイント形式が提供されています：

FP8 – 標準的な8ビット浮動小数点チェックポイント (mistralai/Mistral-Large-4-1T-A52B)。
NVFP4 – NVIDIA Blackwell GPU向けに最適化されたバリアント (mistralai/Mistral-Large-4-1T-A52B-NVFP4)。

コミュニティが作成したGGUF量子化版も、Unslothおよびllama.cppチームを通じて利用可能です。

本モデルはMistral Ecosystem Open-Weight Licenseの下で配布されています。これはMITライセンスをベースにしつつ、モデル・アズ・ア・サービス（MaaS）としての展開を制限するライセンスです。

主な技術的特徴

スパースアーキテクチャ

Mixture-of-Experts (MoE): 72層のデコーダー、MoE層ごとに128の専門家（エキスパート）を配置。ソフトマックスルーターがトークンごとに4つのエキスパートと1つの共有エキスパートを選択します（合計5つのアクティブなエキスパート）。
スパースアテンション: Multi-head Latent Attention (MLA) と DeepSeek Sparse Attention (DSA) インデクサーを組み合わせ、クエリごとに最大2,048のキー位置を選択します。
RoPEバリアント: LeRope を使用。これは周波数ごとに学習された乗数を持つYaRNスケーリングされた回転埋め込みです。
層パターン: 3対1のRoPE対NoPEパターン（3層はRoPEを使用し、4層ごとにNoPEを使用）を採用し、層間でKV状態を共有します。

ビジョンエンコーダー

Pixtralエンコーダー: 16億パラメータ、30層、隠れ層サイズ2,048、16アテンションヘッド。
画像を14 × 14のパッチとして処理し、パッチマージプロジェクター（空間マージサイズ2）を使用します。

パフォーマンスのハイライト

サイバーセキュリティ

Artificial Analysis Cyber Index（再現・パッチ適用タスク）で**82%**を記録。タスクを拒否することが多いクローズドソースのフロンティアモデルを上回りました。
マルウェア分析、脆弱性の優先順位付け、検出ルール生成において強力な内部結果を示しています。
有害なプロンプトに対する高い拒否率（JailbreakBench、StrongREJECT、AgentHarm）を示しており、堅牢な安全性を示しています。

コーディングおよびエージェントワークフロー

DeepSWE v1.1で61.7%、SWE-Atlas-QnAで59.4%、Terminal-Bench 4で**28.3%**を記録。
総合的なCoding Agent Indexスコアは**49.8%**で、DeepSeek V4 Pro 0813およびQwen 3.8 Maxを上回りました。
ビジネスワークフローのスコア：AutomationBenchで59.9%、AA-Briefcaseで1,393 Eloを記録。

一般的なマルチモーダルベンチマーク

LakeraのB3ベンチマークで**93.3%**の攻撃耐性を記録。
Artificial Analysis Intelligence indexにおいてオープンウェイトモデルの中で5位にランクイン（2026年10月29日時点）。

推論エコシステム

Transformers

AutoProcessor を備えた AutoModelForMultimodalLM。
3つの推論努力レベル（low、medium、high）をサポート。デフォルトは high です。
テキストのみおよび画像・テキストプロンプト用のサンプルスクリプトを提供。torchrun -nproc-per-node 8 による分散起動が可能。

vLLM

NVFP4チェックポイントにより、NVIDIA Blackwell GPUでのメモリフットプリントを削減。
推論デコーディング用のDSparkドラフターを同梱。
完全な起動コマンドとシンプルな curl の例が含まれています。

llama.cpp

GGUF量子化版 (Q2_K, IQ2_XXS, Q4_K_M, NVFP4, Q8_0, BF16)。
単一のApple Silicon Ultra (M3 Ultra) で Q2_K を使用した場合、プリフィルで約90 t/s、生成で15 t/sを達成。
RTX6000 ProおよびNVFP4構成でのマルチGPUパフォーマンスも報告されています。

ファインチューニングのサポート

TRL (TensorFlow Reinforcement Learning) および PEFT を通じて、初日からファインチューニングが可能です。提供されているスクリプトでは、8 × B300sノード上でLoRAアダプター (r=16, α=32) を使用し、Multilingual-Thinking データセットでFP8バリアントをファインチューニングします。

デプロイメントオプション

Hugging Face Inference Endpoints

テンソルおよびエキスパート並列処理を用いたvLLMを使用し、8 × NVIDIA H200 GPU向けのデプロイレシピを提供。
最大131,000トークンのコンテキスト、16の同時リクエストを処理可能。1,000トークンのプロンプトに対して約0.6秒のTime-to-First-Token、DSparkドラフト使用時に最大138 t/sの生成速度を実現。
CLIコマンド: hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4。

Dell Enterprise Hub

dell-ai CLIを通じたDell AIサーバー（例：NVIDIA B300）向けの最適化されたDockerレシピ。
デプロイコマンドの例を提供。

コミュニティリソース

Unslothおよびllama.cppによるGGUF量子化版がHugging Face Hubでホストされています。
モデルのサイバー能力に関するPierre StockへのインタビューがYouTubeで公開されています。
ユーザーは、ファインチューニングされたモデル、量子化版、およびダウンストリームの成果物をHubで共有することが推奨されています。

影響

オープンウェイトのセキュリティツール: 研究者や企業は、クローズドなAPIに依存することなく、独自の防御セキュリティパイプラインを構築でき、再現可能な脆弱性分析やインシデント対応が可能になります。
スケーラブルなマルチモーダル推論: 100万トークンのコンテキストとスパースアテンション設計により、長文の要約、コードベース分析、視覚言語タスクに適しています。
エコシステム統合: Transformers、vLLM、llama.cpp全体での即時サポートにより、研究および本番環境の両方で導入の障壁が低減されます。

クイックスタートチェックリスト

Mistral Large 4コレクションからチェックポイント（FP8またはNVFP4）を選択します。
必要なライブラリ (transformers, vllm, llama.cpp, trl, peft) をインストールします。
提供されている推論スクリプトを実行するか、vLLMサーバーを起動します。
（オプション）ドメインデータを使用してTRLでファインチューニングします。
本番ワークロード向けにHugging Face Inference EndpointsまたはDell Enterprise Hub経由でデプロイします。

Le Chonk は実験および本番環境への準備が整いました。結果、ファインチューニングモデル、量子化版をHubで共有し、オープンウェイトAIエコシステムを加速させましょう。