Mistral AI La Plateforme 發佈

Mistral AI 已推出 La Plateforme，這是一項測試版 API 服務，為開發者提供三個生成式對話端點和一個嵌入模型。此次發佈讓 Mistral AI 的開放生成模型能夠在生產環境中進行高效部署和自定義。

生成式模型端點

Mistral AI 提供三個對話端點，用於根據文本指令生成文本，每個端點在效能與成本之間提供不同的平衡：

Mistral-tiny 是最具成本效益的端點。它目前提供 Mistral 7B Instruct v0.2，這是 Mistral 7B Instruct 模型的次要版本。此端點僅限於英文，並在 MT-Bench 上獲得 7.6 分。

Mistral-small 提供 Mixtral 8x7B 模型。此模型支援英文、法文、義大利文、德文和西班牙文，以及程式碼。它在 MT-Bench 上獲得 8.3 分。

Mistral-medium 是最高品質的端點，提供一個根據標準基準測試排名在前列的雛形模型。與 Mistral-small 相同，它支援英文、法文、義大利文、德文和西班牙文，以及程式碼。它在 MT-Bench 上獲得 8.6 分。

Mistral AI 引入了 Mistral-embed 端點，該端點提供專為檢索能力設計的嵌入模型。該模型具有 1024 維度的嵌入維度，並在 MTEB 上獲得 55.26 的檢索分數。

La Plateforme 的 API 遵循流行對話介面的規範，以方便開發者輕鬆轉換。為了支援整合，Mistral AI 提供 Python 和 Javascript 客戶端函式庫。該 API 允許使用系統提示詞（system prompts）來針對特定應用需求，對模型輸出實施更高層級的審查。

在 La Plateforme 上提供的模型是 Mistral AI 基礎模型的指令版本，這些基礎模型是在開放式網路數據上進行預訓練，然後透過標註進行指令微調。對齊過程結合了高效微調與直接偏好優化（DPO），以確保模型易於控制且使用體驗良好。

La Plateforme 目前處於測試階段，隨著容量逐步提升，已向所有用戶開放註冊。Mistral AI 向 NVIDIA 感謝其在整合 TensorRT-LLM 和 Triton 方面的支援，特別是在使稀疏混合專家模型（MoE）與 TRT-LLM 相容方面。