Mistral AI Search Toolkit Public Preview

Mistral AIは、Search Toolkitをパブリックプレビューとしてリリースしました。このオープンソースのコンポーザブルなフレームワークは、インジェクション（取り込み）、リトリーバル（検索）、およびエバリュエーション（評価）を共通のインターフェースの下で統合することで、開発者がプロダクション環境向けの検索パイプラインを構築できるようにし、個別のツールを組み合わせる際に発生するエンジニアリングのオーバーヘッドを削減します。

Unified Search Infrastructure

Search Toolkitは、インジェクション、リトリーバル、およびエバリュエーションが通常、異なるデータ前提条件を持つ個別のツールチェーンに依存している現在の検索システムにおける断片化に対処します。この断片化は、しばしば数週間の統合作業を必要とし、リトリーバーが正しい結果を返しているかどうかを測定することが困難になります。

Search Toolkitは、チームが以下のことを行える単一のフレームワークを提供します：

Standardize Ingestion: 新しいソースごとにパイプラインを再構築することなく、さまざまなソースタイプ（社内Wiki、サポートチケット、コードベースなど）にわたって一貫貫した処理とインデックス作成パターンを実装できます。
Isolate Retrieval Quality: 内蔵のエバリュエーションツールを使用して、生成の品質とは独立してリトリーバーの性能を測定できるため、チームはRAGシステムの失敗がリトリーバルによるものか生成によるものかを判断できます。
Support Domain-Specific Needs: 法務、医療、または金融データのような専門分野のために、カスタムのリトリーバル・インフラストラクチャをゼロから構築する代わりの構造化された選択肢を提供します。

Technical Components and Capabilities

Search Toolkitは、インフラストラクチャに依存しないように設計されており、クラウド、オンプレミス、またはエッジ環境で動作します。共通の構成インターフェースを共有する3つの主要なモジュールで構成されています：

Ingestion

Search Toolkitは、ドキュメントのパース、チャンキング、および埋め込み（embedding）の生成を管理します。標準的なアダプターインターフェースを利用して、カスタムのドキュメント形式や前処理ステップの統合を可能にします。

Retrieval

このフレームワークは、以下を含む複数のリトリーバル構成をサポートしています：

BM25 sparse retrieval
Dense embedding-based retrieval
Hybrid configurations (sparseとdense retrievalの両方を組み合わせたもの)

Evaluation

リリースをまたいで品質を追跡し、構成を比較するために、このツールキットには検索品質を測定するための組み込みのメトリクスが含まれています。具体的には、recall、precision、MRR (Mean Reciprocal Rank)、およびNDCG (Normalized Discounted Cumulative Gain) です。

Integration with AI Agents

Search Toolkitは、AIエージェント向けに高品質にインデックス化された検索パスを提供します。エージェントは、ConnectorsやMCP統合を利用してCRMや生産性ツールからライブデータを取得できますが、Search Toolkitを使用することで、大規模なドキュメントコーパスに対して低レイテンシのセマンティック検索を実行できます。

Real-World Application and Implementation

Search Toolkitは、製造、公共部門、金融サービス、メディアおよびエンターテインメントの各垂直分野でテストされています。例えば、CMA CGMは、3つの異なるデータソースからのオーディオを処理し、15秒以内にアラートを返すことで、フェイクニュースを検出するために、Voxtralと共にこのツールキットを使用しています。

Getting Started

開発者は、GitHub上で利用可能なスターターアプリのテンプレートを使用して、Search Toolkitを実装できます。このプロジェクトには、インストールにDockerとuvが必要です。テンプレートには以下が含まれます：

事前構成済みのVespa indexing
Hybrid retrieval (BM25 + vector)
サンプルデータとインジェクション・パイプライン

Advanced Optimization

基本設定を超えて、このフレームワークは以下の最適化を可能にします：

Ingestion Tuning: 特定のファイルタイプに合わせて、パーサー、チャンキング戦略、および埋め込みモデルを構成します。
Vespa Management: インデックス作成とランキングプロファイルの最適化。
Retrieval Enhancement: LLMによるクエリの書き換え、リランキング、およびハイブリッド・リトリーバルを実装します。