Mistral Small 3.1 發佈說明

Mistral AI 已發佈 Mistral Small 3.1,這是一款結合了多模態理解能力並擴展至 128k token 上下文視窗的高性能輕量級模型。此次發佈具有重大意義,因為它是第一個在文本性能、多模態能力以及多個維度的延遲表現上,超越領先的小型專有模型的開源模型。

技術規格與性能

Mistral Small 3.1 的表現優於 GPT-4o Mini 和 Gemma 3 等同類模型,同時保持每秒 150 個 token 的高推理速度。該模型旨在平衡低延遲、成本效益,以及處理文本、多模態輸入和多種語言的能力。

硬體需求

Mistral Small 3.1 針對輕量化部署進行了優化。它可以在單張 NVIDIA RTX 4090 GPU 或配備 32GB RAM 的 Mac 上運行,非常適合裝置端 AI 應用程式。

上下文與授權

  • 上下文視窗: 該模型支援高達 128k tokens,允許處理更長的文檔和更複雜的提示詞。
  • 授權: Mistral Small 3.1 根據 Apache 2.0 授權條款發佈,為開源開發和商業用途提供了廣泛的易用性。

核心能力與使用場景

Mistral Small 3.1 是一款多功能模型,具備指令遵循、對話輔助、圖像理解和函數調用(function calling)能力。它可作為消費級與企業級 AI 應用程式的基礎。

關鍵應用領域

  • 對話式 AI: 在快速且準確的回應至關重要的場景下,提供快速響應的虛擬助手。
  • 代理式工作流(Agentic Workflows): 在自動化系統中進行低延遲的函數調用,以實現快速執行。
  • 領域專業化: 該模型可以針對醫療診斷、法律建議和技術支援等專業領域進行微調。
  • 多模態企業任務: 該模型支援基於圖像的客戶支援、文件驗證、診斷、品質檢查的視覺檢測,以及安全系統中的目標檢測。

模型可用性與生態系統

Mistral AI 已發佈預訓練基礎模型(pretrained base model)和指令微調檢查點(instruct checkpoint),以實現下游自定義開發和進階推理模型的開發。

發行管道

  • 開源權重: 可在 Hugging Face 下載(Mistral Small 3.1 Base 與 Mistral Small 3.1 Instruct)。
  • API 存取: 可透過開發者遊樂場 La Plateforme 進行存取。
  • 雲端平台: 可在 Google Cloud Vertex AI 上使用,並即將在 NVIDIA NIM 和 Microsoft Azure AI Foundry 上提供。

Sources

相關

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch