Codestral Embed 模型发布

概要

Mistral AI 发布了 Codestral Embed，这是其首个专为源代码设计的嵌入模型，并展示了其在真实代码检索基准测试中超越了主要竞争对手（Voyage Code 3、Cohere Embed 4.0、OpenAI 的大型嵌入模型）。

模型概述

Codestral Embed 专为高性能代码检索和语义理解而设计。该模型可以输出多种维度的嵌入（例如 256 维）和多种数值精度（包括 int8）。Mistral 报告称，即使是最小的配置（256 维 int8）也优于他们评估的所有竞争对手。嵌入维度按相关性排序，允许用户截断到任意整数 n，从而在检索质量和存储成本之间获得平滑的权衡。

基准测试表现

Codestral Embed 在多个以代码为中心的检索任务上进行了基准测试。结果按类别汇总，详细基准测试表由 Mistral 提供。

类别	代表性基准测试
检索增强生成	SWE-Bench Lite（真实 GitHub 问题 → 相关文件）
语义代码搜索	CodeSearchNet（代码→代码，文档→代码）
相似性与重复检测	CommitPack（提交信息 → 修改的文件）
文本到 SQL	Spider、WikiSQL、Synthetic Text2SQL
算法代码匹配	DM 代码竞赛、APPS、CodeChef、MBPP+
数据科学代码匹配	DS 1000

Mistral 表示，该模型在每个类别中都取得了最高平均分，并在所有类别的宏观平均值上领先。

主要用例

1. 检索增强生成（RAG）

Codestral Embed 能够为代码补全、编辑或解释实现快速上下文检索，非常适合 AI 驱动的编程助手和编码代理框架。

2. 语义代码搜索

该嵌入支持通过自然语言或代码查询准确搜索代码片段，适合集成到开发者工具、文档系统和编程助手中。

3. 相似性搜索与重复检测

通过捕捉词汇差异背后的功能相似性，该模型有助于识别可复用代码、防止重复实现，并执行许可政策。

4. 语义聚类与代码分析

该模型使得按功能或结构对代码进行无监督分组成为可能，有助于仓库组成分析、架构发现和自动化文档生成。

可用性与定价

• API 名称： codestral-embed-2505
• 成本： 每百万 tokens 0.15 美元（标准 API）——批量 API 可享受 50% 折扣。
• 本地部署： 可通过直接联系 Mistral 的 AI 团队获取。

文档、快速入门指南和 Colab 教程均已提供：

• 文档：https://docs.mistral.ai/capabilities/embeddings/code_embeddings/
• Colab 教程：https://colab.research.google.com/github/mistralai/cookbook/blob/main/mistral/embeddings/code_embedding.ipynb

推荐的分块策略

对于检索场景，Mistral 建议将源文件分块为 约 3000 字符的片段，并设置 1000 字符的重叠。虽然模型可以处理多达 8192 个 tokens，但更大的块会降低检索性能。

基准测试详情

Mistral 列出了用于评估 Codestral Embed 的具体基准测试：

基准测试	描述	类别
SWE-Bench Lite	检索文件以修复真实的 GitHub 问题	swebench_lite
CodeSearchNet（代码→代码）	检索出现在相同上下文中的代码	code2code
CodeSearchNet（文档→代码）	从文档字符串查询中检索代码	text2code
CommitPack	从提交信息中检索修改的文件	text2code
Spider	从自然语言查询中检索 SQL 代码	text2sql
WikiSQL	从自然语言查询中检索 SQL 代码	text2sql
Synthetic Text2SQL	从合成查询中检索 SQL 代码	text2sql
DM 代码竞赛	将问题描述与正确的竞赛解决方案匹配	text2code
APPS	将问题描述与正确的竞赛解决方案匹配	text2code
CodeChef	将问题描述与正确的竞赛解决方案匹配	text2code
MBPP+	将算法问题与 Python 解决方案匹配	text2code
DS 1000	将数据科学问题与实现匹配	text2code

这些基准测试涵盖了广泛的代码检索任务，证实了该模型在软件工程、数据科学和算法领域的多功能性。

---

以上所有陈述均直接来源于 Mistral AI 于 2025 年 5 月 28 日的官方公告。