Codestral 发布说明

Mistral AI 推出了 Codestral，这是其首个专门的代码模型。Codestral 是一个 22B 开源权重生成式 AI 模型，旨在通过共享的指令和补全 API 端点，通过生成代码、完成函数和编写测试来协助开发者。

广泛的语言支持和核心能力

Codestral 精通 80 多种编程语言。这包括广泛使用的语言，如 Python、Java、C、C++、JavaScript 和 Bash，以及更专业的语言，如 Swift 和 Fortran。

为了提高开发者的生产力并减少 Bug，该模型支持几项关键功能：

代码补全： 完成编码函数和部分代码。
Fill-in-the-Middle (FIM)： 一种允许模型根据周围上下文完成代码的机制。
测试生成： 为现有代码自动编写测试。

性能与基准测试

作为一个 22B 参数模型，Codestral 定位于优化代码生成任务中性能与延迟之间的平衡。

长程上下文和仓库级补全

Codestral 具有 32k 上下文窗口，这显著大于竞争模型中常见的 4k、8k 或 16k 窗口。这个更大的窗口使 Codestral 在 RepoBench 中表现优于其他模型，RepoBench 是一个专门为长程仓库级代码补全设计的基准测试。

技术基准测试

Mistral AI 从多个维度对 Codestral 进行了评估：

Python： 使用 HumanEval pass@1、MBPP sanitised pass@1（生成能力）、CruxEval（输出预测）和 RepoBench EM（长程补全）来衡量性能。
SQL： 使用 Spider 基准测试评估性能。
多语言支持： 使用 HumanEval pass@1 在 C++、bash、Java、PHP、Typescript 和 C# 上评估了该模型。
Fill-in-the-Middle： 将 Python、JavaScript 和 Java 中的 FIM 性能与 DeepSeek Coder 33B 进行了比较。

部署与访问选项

Codestral 可通过多种访问路径使用，具体取决于使用场景：

开源权重与许可

Codestral 是一个开源权重模型，可在 HuggingFace 上下载。它根据 Mistral AI Non-Production License 发布，允许用于研究和测试。商业许可可根据 Mistral AI 的要求提供。

API 端点

专用端点 (codestral.mistral.ai)： 专为 IDE 插件和应用程序设计，用户可以提供自己的 API 密钥。该端点目前处于为期 8 周的免费测试期，并设有候补名单限制。
通用 API 端点 (api.mistral.ai)： 可通过 la Plateforme 使用，查询按 token 计费。这适用于研究、批量查询或直接向用户展示结果的第三方应用程序。

自行部署

Codestral 可通过 Mistral AI 的销售团队进行自行部署。

生态系统集成

Codestral 已集成到多种开发者工具和框架中：

应用框架： 集成到 LlamaIndex 和 LangChain 中，用于构建智能体应用。
IDE 集成： 集成到 Continue.dev 和 Tabnine 中，允许开发者在 VSCode 和 JetBrains 环境中通过 Codestral 进行聊天和代码生成。

社区与合作伙伴反馈

行业合作伙伴强调了该模型的效率和准确性。显著的反馈包括：

"我们的内部评估显示，Mistral 的新 Codestral 模型在保持建议代码质量的同时，显著降低了 Cody autocomplete 的延迟。"

— Quinn Slack, CEO and co-founder of Sourcegraph

"我们使用 Codestral 在我们的 Kotlin-HumanEval 基准测试上运行了一项测试，并对结果印象深刻。例如，在 T=0.2 的通过率情况下，Codestral 达到了 73.75 分，超过了 GPT-4-Turbo 的 72.05 分和 GPT-3.5-Turbo 的 54.66 分。"

— Mikhail Evtikhiev, Researcher at JetBrains