Mistral Batch API 發佈

Mistral AI 推出了 Batch API，為處理高容量數據請求提供了一種更具成本效益的方法。這項新功能允許開發者以標準同步 API 調用成本的 50% 來處理大型數據集，使前沿 AI 對於規模密集型應用程式更加實惠。

成本降低與效率

與同步 API 調用相比，Batch API 可降低 50% 的營運成本。它專為數據處理量比響應即時性更為關鍵的 AI 應用程式而設計。用戶不再需要等待即時答案，而是上傳包含多個請求的批次文件，待處理完成後，即可下載生成的輸出文件。

支援的模型與限制

Batch API 目前適用於 La Plateforme 上提供的所有模型。Mistral AI 也表示，該功能很快就會提供給其雲端供應商合作夥伴。目前的使用量限制為每個工作區 100 萬個進行中的請求。

主要使用場景

Batch API 針對非同步、高容量任務進行了優化。關鍵應用包括：

• 數據分析： 大規模地進行情緒分析並處理客戶回饋。

• 內容處理： 執行大量文件的摘要與翻譯。

• 搜尋基礎設施： 生成向量嵌入以準備搜尋索引。

• 數據管理： 大規模數據標註。