Mathstral 7B 發佈

Mistral AI 已發佈 Mathstral，這是一個擁有 7B 參數的模型，旨在解決需要複雜、多步驟邏輯推理的高階數學問題。Mathstral 是與 Project Numina 合作開發的，旨在透過在其規模類別中提供尖端的推理能力，來支援科學社群和學術專案。

技術基礎與專業化

Mathstral 是基於 Mistral 7B 架構構建的，並專門針對 STEM（科學、技術、工程和數學）學科進行了優化。它以指令遵循模型（instructed model）的形式發佈，這意味著它已預先配置為遵循特定指令，並可以透過微調進一步進行調整。

性能基準測試

Mathstral 7B 在業界標準基準測試中，在其規模類別中達到了尖端的推理能力。關鍵性能指標包括：

• MATH Benchmark: 56.6%
• MMLU Benchmark: 63.47%

推理時計算的影響

當在推理階段應用額外的計算時，模型的性能會顯著提升。具體而言，Mathstral 7B 的 MATH 分數增加到：

• 使用多數決（majority voting）時為 68.37%。
• 在 64 個候選者中使用強大的獎勵模型時為 74.59%。

可用性與實作

Mathstral 已向科學社群開放，權重託管於 HuggingFace。使用者可以利用以下工具來實作該模型：

• Inference: 使用 mistral-inference 工具 (v1.2.0)。
• Adaptation: 使用 mistral-finetune 工具進行自定義微調。

開發哲學

Mathstral 體現了 Mistral AI 透過為特定用途構建模型來優化性能與速度之間權衡的哲學。這種方法也得到了 la Plateforme 上提供的微調功能的進一步支持。