Codestral 25.01 發佈說明 / 有什麼新功能

Mistral AI 已宣布發佈 Codestral 25.01,這是一款程式碼生成與補全速度比原版快約兩倍的程式碼模型。此次更新引入了更高效的架構與改進的 tokenizer,為各方面的填補中間內容 (fill-in-the-middle, FIM) 使用場景建立了新的尖端 (SOTA) 標準。

效能與架構改進

Codestral 25.01 利用更高效的架構與改進的 tokenizer,將程式碼生成與補全的速度提升了一倍。該模型專為低延遲、高頻率的使用場景而設計,並支援關鍵的開發者任務,包括填補中間內容 (FIM)、程式碼修正與測試生成。它精通超過 80 種程式語言,並支援 256k 的上下文長度。

技術基準測試

Codestral 25.01 在多項關鍵基準測試中表現優於領先的 100B 以下參數的程式碼模型。

一般程式編寫能力

在 HumanEval (平均值) 中,Codestral 25.01 達到了 71.4%,超越了之前的 Codestral-2405 22B (65.6%)、DeepSeek Coder V2 lite (65.9%) 以及 Codellama 70B instruct (55.3%)。

填補中間內容 (FIM) 能力

該模型被描述為 FIM 使用場景的 SOTA。在 HumanEvalFIM (平均值) 單行精確匹配中,它獲得了 85.89%,擊敗了 OpenAI FIM API (83.7%) 與 DeepSeek Chat API (84.63%)。

對於 FIM pass@1,Codestral 25.01 平均達到了 95.3%,相比之下,Codestral-2405 22B 為 91.8%,OpenAI FIM API 為 92.7%。

各語言效能表現

Codestral 25.01 在 HumanEval 上大多數測試語言中均處於領先地位,包括 Python (86.6%)、C++ (78.9%)、Javascript (82.6%)、Bash (43.0%) 與 Typescript (82.4%)。在提供的數據中,唯一的例外是 Java,其中 Codestral-2405 22B 以 78.5% 的得分高於 25.01 的 72.8%。

部署與可用性

Codestral 25.01 可透過以下管道取得:

  • IDE 集成: 可透過 IDE 與 IDE 外掛程式合作夥伴取得,包括作為 VS Code 與 JetBrains 中 Continue 的推薦自動補全模型。
  • API 存取: 可透過 la Plateforme 上的 codestral-latest、Google Cloud 的 Vertex AI,以及在 Azure AI Foundry 上的私有預覽版取得,Amazon Bedrock 支援即將推出。
  • 企業級部署: 對於需要數據與模型駐留的組織,該模型可以部署在公司內部或虛擬私有雲 (VPC) 中。

行業觀點

Continue 的共同創辦人 Ty Dunn 強調了 FIM 能力對於 AI 程式碼助手的重要性:

"對於 AI 程式碼助手而言,程式碼補全佔據了大量的工作量,這需要模型在填補中間內容 (FIM) 方面表現出色。Codestral 25.01 在這一領域取得了重大進展。Mistral AI 的新模型能夠提供更精確的建議,且速度快得多 — 這對於準確且高效的軟體開發至關重要。"

Codestral 25.01 在 LMsys copilot arena 排行榜上首度亮相即位居第 1 名。

Sources

相關

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch