Mistral AI 發佈 Ministral 3B 與 8B 邊緣模型

Mistral AI 已宣佈推出 Ministral 3B 與 Ministral 8B,這是兩款針對邊緣運算與裝置端使用情境優化的全新小型語言模型 (SLMs)。這些模型旨在提供卓越的知識、推理與函式呼叫 (function-calling) 性能,同時保持本地部署所需的低延遲與高效率。

技術規格與架構

Mistral 3B 與 8B 皆支援高達 128k tokens 的上下文長度,不過目前在 vLLM 上為 32k。為了優化性能,Ministral 8B 使用了一種特殊的交錯滑動視窗注意力機制 (interleaved sliding-window attention pattern),這能實現更快速且更節省記憶體的推理過程。

目標使用情境與應用

Les Ministraux 是為需要本地、隱私優先的推理與低延遲的情境而打造的。關鍵應用包括:

  • 裝置端運算: 本地分析、無網路智慧助手以及自主機器人。
  • 邊緣翻譯: 裝置端翻譯服務。
  • 代理工作流 (Agentic workflows): 當與 Mistral Large 等較大型模型搭配使用時,可作為函式呼叫、輸入解析與任務路由的高效中介。

性能基準測試

Mistral AI 表示,Ministral 3B 與 8B 在 10B 以下的類別中持續優於同儕。根據公司的內部評估框架,最小的模型 Ministral 3B 在大多數基準測試中已超越了原始的 Mistral 7B。

可用性、定價與授權

兩款模型皆已透過 API 立即提供。la Plateforme 的定價如下:

Model API Endpoint Price per Million Tokens (Input/Output) License
Ministral 8B ministral-8b-latest $0.10 Mistral Commercial License / Mistral Research License
Ministral 3B ministral-3b-latest $0.04 Mistral Commercial License

對於自行部署的使用需求,需要商業授權。Mistral AI 也提供無損量化 (lossless quantization) 方面的協助,以針對特定使用情境最大化性能。Ministral 8B Instruct 的模型權重已開放供研究使用,且兩款模型很快就會透過雲端合作夥伴提供。

Sources

相關

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch