Mistral Batch API リリース

Mistral AI は、大量のデータリクエストを処理するための、よりコスト効率の高い方法を提供するために Batch API を導入しました。この新しい機能により、開発者は標準的な同期 API コールと比較して 50% のコストで大規模なデータセットを処理できるようになり、大規模なアプリケーションにとって最先端の AI がより手頃な価格になります。

コスト削減と効率性

Batch API は、同期 API コールと比較して運用コストを 50% 削減します。これは、応答の即時性よりも処理されるデータの量の方が重要な AI アプリケーション向けに設計されています。リアルタイムの回答を待つ代わりに、ユーザーは複数のリクエストを含むバッチファイルをアップロードし、処理が完了すると、結果の出力ファイルをダウンロードします。

サポートされているモデルと制限

Batch API は、現在 La Plateforme で提供されているすべてのモデルで利用可能です。Mistral AI はまた、この機能がクラウドプロバイダーのパートナーにも間もなく提供される予定であると述べています。使用量は、現在 1 つのワークスペースあたり 100 万件の進行中のリクエストに制限されています。

主なユースケース

Batch API は、非同期かつ大量のタスクに最適化されています。主なアプリケーションには以下が含まれます：

• データ分析: 感情分析を実行し、大規模に顧客フィードバックを処理する。

• コンテンツ処理: 大量のリキュメントの要約と翻訳を実行する。

• 検索インフラストラクチャ: 検索インデックスを準備するためにベクトル埋め込みを生成する。

• データ管理: 大規模なデータラベリング。