Codestral Embed モデルのリリース

TL;DR

Mistral AIは、ソースコードに特化した初の埋め込みモデルである Codestral Embed を発表し、実世界のコード検索ベンチマークにおいて主要な競合モデル（Voyage Code 3, Cohere Embed v4.0, OpenAIの大型埋め込みモデル）を凌駕することを示しました。

モデルの概要

Codestral Embed は、高性能なコード検索と意味理解のために設計されています。このモデルは、さまざまな次元数（例：256）および数値精度（int8を含む）の埋め込みを出力できます。Mistralの報告によると、最小構成（256次元 int8）でさえ、評価したすべての競合モデルを上回っています。埋め込み次元は関連性順に並んでおり、ユーザーは任意の整数 $n$ で切り捨てることができ、検索品質とストレージコストの間のスムーズなトレードオフを実現できます。

Retrieval quality vs. storage cost trade‑off for Codestral Embed

ベンチマーク性能

Codestral Embedは、複数のコード中心の検索タスクでベンチマーク測定が行われました。結果はカテゴリ別に要約されており、詳細なベンチマークテーブルはMistralによって提供されています。

カテゴリ	代表的なベンチマーク
Retrieval-augmented generation	SWE-Bench lite (実際のGitHub issue → 関連ファイル)
Semantic code search	CodeSearchNet (code→code, doc2code)
Similarity & duplicate detection	CommitPack (commit message → 修正されたファイル)
Text-to-SQL	Spider, WikiSQL, Synthetic Text2SQL
Algorithmic code matching	DM code contests, APPS, CodeChef, MBPP+
Data-science code matching	DS 1000

Mistralは、このモデルが各カテゴリで最高平均スコアを達成し、全カテゴリを通じたマクロ平均でリードしていると述べています。

主なユースケース

1. Retrieval-augmented generation (RAG)

Codestral Embedは、コード補完、編集、または説明のための迅速なコンテキスト検索を可能にし、AI搭載のコーパイロットやコーディングエージェントのフレームワークに最適です。

2. Semantic code search

埋め込みは、自然言語またはコードのクエリからコードスニペットの正確な検索をサポートし、開発者ツール、ドキュメントシステム、およびコーパイロットへの統合に適しています。

3. Similarity search & duplicate detection

語彙的な差異にかかわらず機能的な類似性を捉えることで、このモデルは再利用可能なコードの特定、重複実装の防止、およびライセンスポリシーの適用を支援します。

4. Semantic clustering & code analytics

機能や構造によるコードの教師なしグルーピングが可能になり、リポジトリ構成の分析、アーキテクチャの発見、および自動ドキュメント作成を支援します。

利用可能性と料金

API名: codestral-embed-2505
コスト: 100万トークンあたり$0.15 (標準API) — バッチAPIでは50%割引。
オンプレミス: MistralのApplied AIチームへの直接連絡により利用可能。

ドキュメント、クイックスタートガイド、およびColabクックブックが提供されています：

推奨されるチャンク分割戦略

検索シナリオでは、Mistralはソースファイルを 1000文字のオーバーラップを持つ~3000文字のセグメント に分割することを推奨しています。モデルは最大8192トークンを処理できますが、チャンクが大きすぎると検索性能が低下します。

ベンチマークの詳細

Mistralは、Codestral Embedの評価に使用された特定のベンチマークをリストアップしています：

ベンチマーク	説明	カテゴリ
SWE-Bench lite	実際のGitHub issueを修正するためのファイルを検索	swebench_lite
CodeSearchNet (code→code)	同じコンテキストに現れるコードを検索	code2code
CodeSearchNet doc2code	docstringクエリからコードを検索	Text2code (github)
CommitPack	コミットメッセージから修正されたファイルを検索	Text2code (github)
Spider	自然言語クエリからSQLコードを検索	Text2SQL
WikiSQL	自然言語クエリからSQLコードを検索	Text2SQL
Synthetic Text2SQL	合成クエリからSQLコードを検索	Text2SQL
DM code contests	問題の説明を正しいコンペティションの解法にマッチさせる	Text2Code (Algorithms)
APPS	問題の説明をコンペティションの解法にマッチさせる	Text2Code (Algorithms)
CodeChef	問題の説明をコンペティションの解法にマッチさせる	Text2Code (Algorithms)
MBPP+	アルゴリズムの問題をPythonの解法にマッチさせる	Text2Code (Algorithms)
DS 1000	データサイエンスの問題を実装にマッチさせる	Text2Code (Data Science)

これらのベンチマークは、ソフトウェアエンジニアリング、データサイエンス、およびアルゴリズムの領域にわたるモデルの汎用性を裏付けています。

すべての記述は、2025-05-28付のMistral AIの公式発表から直接引用されています。