Mistral Large 4 (Le Chonk) 发布说明

TL;DR

Mistral Large 4 (又名 Le Chonk) 是一款拥有 1 万亿参数的多模态混合专家模型 (MoE)，具备 100 万 token 的上下文窗口。该模型已在 Hugging Face 上发布，提供 FP8 和 NVFP4 格式，在网络安全、编程智能体和视觉语言应用方面表现强劲，并遵循 Mistral Ecosystem Open-Weight License 保持开放权重。

模型概述

Mistral Large 4 是一款多模态、多语言的 MoE 模型，支持文本和图像输入，并输出文本。它总共包含约 1 万亿参数，其中每个 token 激活 490 亿参数。该模型支持 100 万 token 的上下文窗口，能够实现极长距离的推理。

官方提供两种检查点格式：

  1. FP8 – 标准 8 位浮点检查点 (mistralai/Mistral-Large-4-1T-A52B)。
  2. NVFP4 – 针对 NVIDIA Blackwell GPU 优化的变体 (mistralai/Mistral-Large-4-1T-A52B-NVFP4)。

社区生成的 GGUF 量化版本也可通过 Unsloth 和 llama.cpp 团队获取。

该模型根据 Mistral Ecosystem Open-Weight License 分发，这是一种衍生自 MIT 的许可证，限制了模型即服务 (MaaS) 的部署。

关键技术特性

稀疏架构

  • 混合专家模型 (MoE)：72 层解码器，每个 MoE 层有 128 个专家，通过 softmax 路由为每个 token 选择 4 个专家外加 1 个共享专家（总共 5 个激活专家）。
  • 稀疏注意力 (Sparse Attention)：结合了多头潜在注意力 (MLA) 和 DeepSeek 稀疏注意力 (DSA) 索引器，每个查询最多选择 2,048 个键位置。
  • RoPE 变体：使用 LeRope，这是一种经过 YaRN 缩放的旋转嵌入，具有每个频率的学习乘数。
  • 层模式：采用 3 比 1 的 RoPE 到 NoPE 模式（三层使用 RoPE，每第四层使用 NoPE），并在层间共享 KV 状态。

视觉编码器

  • Pixtral 编码器：16 亿参数，30 层，隐藏层大小 2,048，16 个注意力头。
  • 将图像处理为 14 × 14 的补丁，并带有补丁合并投影仪（空间合并大小为 2）。

性能亮点

网络安全

  • 在 Artificial Analysis Cyber Index（重现后修补任务）上达到 82%，优于经常拒绝该任务的闭源前沿模型。
  • 在恶意软件分析、漏洞优先级排序和检测规则生成方面表现出强大的内部结果。
  • 在有害提示（JailbreakBench, StrongREJECT, AgentHarm）上具有很高的拒绝率，表明其具备稳健的安全行为。

编程与智能体工作流

  • 在 DeepSWE v1.1 上达到 61.7%，在 SWE-Atlas-QnA 上达到 59.4%，在 Terminal-Bench 4 上达到 28.3%。
  • 综合 Coding Agent Index 得分为 49.8%，超过了 DeepSeek V4 Pro 0813 和 Qwen 3.8 Max。
  • 业务工作流得分：AutomationBench 为 59.9%，AA-Briefcase 为 1,393 Elo。

通用多模态基准

  • 在 Lakera 的 B3 基准测试中具有 93.3% 的攻击抵抗力。
  • 在 Artificial Analysis Intelligence 指数中，在开放权重模型中排名 第 5（截至 2026 年 10 月 29 日）。

推理生态系统

Transformers

  • 使用 AutoModelForMultimodalLM 和 AutoProcessor。
  • 支持三个推理努力级别（low, medium, high）；默认为 high。
  • 提供纯文本和图文提示的示例脚本。通过 torchrun -nproc-per-node 8 进行分布式启动。

vLLM

  • NVFP4 检查点在 NVIDIA Blackwell GPU 上提供了更小的内存占用。
  • 包含用于推测解码的 DSpark 草稿器。
  • 包含完整的启动命令和简单的 curl 示例。

llama.cpp

  • GGUF 量化版本 (Q2_K, IQ2_XXS, Q4_K_M, NVFP4, Q8_0, BF16)。
  • 单台 Apple Silicon Ultra (M3 Ultra) 运行 Q2_K 可实现约 90 t/s 的预填充和 15 t/s 的生成速度。
  • 报告了针对 RTX6000 Pro 和 NVFP4 配置的多 GPU 性能。

微调支持

通过 TRL (TensorFlow Reinforcement Learning) 和 PEFT 提供 Day-0 微调支持。提供的脚本使用 LoRA 适配器 (r = 16, α = 32) 在 8 × B300s 节点上对 Multilingual-Thinking 数据集上的 FP8 变体进行微调。

部署选项

Hugging Face Inference Endpoints

  • 针对 8 × NVIDIA H200 GPU 的可部署方案，使用带有张量和专家并行的 vLLM。
  • 处理高达 13.1 万 token 的上下文，支持 16 个并发请求，1K token 提示的首 token 时间约为 0.6 秒，使用 DSpark 草稿生成速度高达 138 t/s。
  • CLI 命令：hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4。

Dell Enterprise Hub

  • 通过 dell-ai CLI 为 Dell AI 服务器（例如 NVIDIA B300）提供优化的 Docker 方案。
  • 提供示例部署命令。

社区资源

  • 来自 Unsloth 和 llama.cpp 的 GGUF 量化版本 托管在 Hugging Face Hub 上。
  • 在 YouTube 上可以观看关于该模型网络安全能力的 Pierre Stock 访谈。
  • 鼓励用户在 Hub 上分享微调模型、量化版本和下游工件。

影响

  • 开放权重安全工具：研究人员和企业可以构建自定义的防御性安全流水线，而无需依赖闭源 API，从而实现可重现的漏洞分析和事件响应。
  • 可扩展的多模态推理：100 万 token 的上下文和稀疏注意力设计使该模型适用于长文档摘要、代码库分析和视觉语言任务。
  • 生态系统集成：在 Transformers、vLLM 和 llama.cpp 中的即时支持降低了研究和生产工作负载的采用门槛。

快速入门清单

  1. 从 Mistral Large 4 合集中选择一个检查点（FP8 或 NVFP4）。
  2. 安装所需的库 (transformers, vllm, llama.cpp, trl, peft)。
  3. 运行提供的推理脚本或启动 vLLM 服务器。
  4. (可选) 使用 TRL 在您的领域数据上进行微调。
  5. 通过 Hugging Face Inference Endpoints 或 Dell Enterprise Hub 部署以用于生产工作负载。

Le Chonk 现已准备好进行实验和生产。在 Hub 上分享您的结果、微调和量化版本，以加速开放权重 AI 生态系统。

Sources