Mistral AI 發佈 Ministral 3B 與 8B 邊緣模型
Mistral AI 已宣佈推出 Ministral 3B 與 Ministral 8B,這是兩款針對邊緣運算與裝置端使用情境優化的全新小型語言模型 (SLMs)。這些模型旨在提供卓越的知識、推理與函式呼叫 (function-calling) 性能,同時保持本地部署所需的低延遲與高效率。
技術規格與架構
Mistral 3B 與 8B 皆支援高達 128k tokens 的上下文長度,不過目前在 vLLM 上為 32k。為了優化性能,Ministral 8B 使用了一種特殊的交錯滑動視窗注意力機制 (interleaved sliding-window attention pattern),這能實現更快速且更節省記憶體的推理過程。
目標使用情境與應用
Les Ministraux 是為需要本地、隱私優先的推理與低延遲的情境而打造的。關鍵應用包括:
- 裝置端運算: 本地分析、無網路智慧助手以及自主機器人。
- 邊緣翻譯: 裝置端翻譯服務。
- 代理工作流 (Agentic workflows): 當與 Mistral Large 等較大型模型搭配使用時,可作為函式呼叫、輸入解析與任務路由的高效中介。
性能基準測試
Mistral AI 表示,Ministral 3B 與 8B 在 10B 以下的類別中持續優於同儕。根據公司的內部評估框架,最小的模型 Ministral 3B 在大多數基準測試中已超越了原始的 Mistral 7B。
可用性、定價與授權
兩款模型皆已透過 API 立即提供。la Plateforme 的定價如下:
| Model | API Endpoint | Price per Million Tokens (Input/Output) | License |
|---|---|---|---|
| Ministral 8B | ministral-8b-latest |
$0.10 | Mistral Commercial License / Mistral Research License |
| Ministral 3B | ministral-3b-latest |
$0.04 | Mistral Commercial License |
對於自行部署的使用需求,需要商業授權。Mistral AI 也提供無損量化 (lossless quantization) 方面的協助,以針對特定使用情境最大化性能。Ministral 8B Instruct 的模型權重已開放供研究使用,且兩款模型很快就會透過雲端合作夥伴提供。
Sources
- OriginalUn Ministral, des Ministraux
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch