Mathstral 7B 发布

Mistral AI 已发布 Mathstral，这是一个专为解决需要复杂多步逻辑推理的高级数学问题而设计的 7B 参数模型。该模型由 Mistral AI 与 Project Numina 合作开发，旨在通过在其尺寸类别中提供最先进的推理能力，支持科学界和学术项目。

技术基础与专业化

Mathstral 基于 Mistral 7B 架构，并针对 STEM（科学、技术、工程和数学）学科进行了专业化。它以指令模型的形式发布，意味着其已预先配置为遵循特定指令，且可通过微调进一步适应。

性能基准测试

Mathstral 7B 在行业标准基准测试中，其尺寸类别达到了最先进的推理能力。关键性能指标包括：

• MATH 基准测试： 56.6%
• MMLU 基准测试： 63.47%

推理阶段计算的影响

当在推理阶段应用额外计算时，该模型的性能显著提升。具体而言，Mathstral 7B 的 MATH 得分提升至：

• 68.37%（使用多数投票）
• 74.59%（在 64 个候选结果中使用强奖励模型）

可用性与实现

Mathstral 已向科学界开放，权重托管在 HuggingFace 上。用户可使用以下工具实现该模型：

• 推理： mistral-inference 工具（v1.2.0）。
• 适配： mistral-finetune 工具，用于自定义微调。

开发理念

Mathstral 体现了 Mistral AI 通过为特定用途构建模型，优化性能与速度之间权衡的理念。这一方法还得到了 la Plateforme 上可用的微调功能的进一步支持。