Codestral リリースノート

Mistral AI は、コード専用モデルとして初めての Codestral を発表しました。Codestral は、共通の指示と完成APIエンドポイントを通じて、コードの生成、関数の補完、テストの作成を支援する、220億パラメータのオープンウェイト生成AIモデルです。

広範な言語対応と基本機能

Codestral は80種類以上のプログラミング言語に精通しています。Python、Java、C、C++、JavaScript、Bashといった広く使われている言語に加え、Swift や Fortran といった専門的な言語も含まれます。

開発者の生産性を向上させ、バグを減らすために、モデルは以下の主要な機能をサポートしています：

コード補完： 関数や部分的なコードの補完。
中間埋め込み（FIM）： 周囲の文脈に基づいてコードを補完する仕組み。
テスト生成： 既存のコードに対して自動的にテストを記述。

パフォーマンスとベンチマーク

220億パラメータのモデルとして、Codestral はコード生成タスクにおけるパフォーマンスとレイテンシのバランスを最適化することを目的としています。

長距離コンテキストとリポジトリレベルの補完

Codestral は32kのコンテキストウィンドウを備えており、競合モデルの4k、8k、16kに比べて大幅に大きいです。この大きなウィンドウにより、長距離リポジトリレベルのコード補完を専門に設計されたベンチマーク「RepoBench」において、他のモデルを上回る性能を発揮できます。

技術的ベンチマーク

Mistral AI は Codestral を以下の複数の次元で評価しました：

Python： HumanEval pass@1、MBPP sanitised pass@1（生成能力）、CruxEval（出力予測）、RepoBench EM（長距離補完）を使用して評価。
SQL： Spider ベンチマークを使用して評価。
多言語対応： C++、bash、Java、PHP、Typescript、C# における HumanEval pass@1 を用いて評価。
中間埋め込み（FIM）： Python、JavaScript、Java における FIM の性能を DeepSeek Coder 33B と比較。

デプロイとアクセス方法

Codestral は、使用状況に応じて複数のアクセス経路から利用可能です。

オープンウェイトとライセンス

Codestral は HuggingFace でダウンロード可能なオープンウェイトモデルです。Mistral AI Non-Production License の下でリリースされており、研究やテスト用途での利用が可能です。商業利用のライセンスは、Mistral AI に要請することで取得できます。

APIエンドポイント

専用エンドポイント（codestral.mistral.ai）： IDEプラグインやアプリケーション向けに設計されており、ユーザーが独自のAPIキーを提供します。現在、8週間の無料ベータ期間中であり、待機リスト制限付きです。
汎用APIエンドポイント（api.mistral.ai）： la Plateforme を通じて利用可能で、トークン単位で課金されます。研究、バッチクエリ、またはユーザーに直接結果を公開する第三者アプリケーション向けです。

オンプレミスデプロイ

Codestral は Mistral AI の営業チームを通じて、オンプレミスでの自己デプロイが可能です。

エコシステム統合

Codestral は複数の開発者ツールやフレームワークに統合されています：

アプリケーションフレームワーク： LlamaIndex と LangChain に統合され、エージェントアプリケーションの構築に使用可能。
IDE統合： Continue.dev と Tabnine に統合され、VSCode や JetBrains 環境内でチャットやコード生成に Codestral を利用可能。

コミュニティおよびパートナーからのフィードバック

業界のパートナーは、モデルの効率性と正確性を高く評価しています。特に注目すべきフィードバックは以下の通りです：

「社内の評価では、Mistralの新しいCodestralモデルがCodyの自動補完のレイテンシを大幅に削減しながら、提案コードの品質を維持していることがわかりました。」

— Quinn Slack、Sourcegraph CEOおよび共同創立者

「Codestral を使ってKotlin-HumanEvalベンチマークのテストを実施しましたが、結果に驚きました。たとえば、T=0.2のパス率において、Codestralは73.75のスコアを達成し、GPT-4-Turboの72.05、GPT-3.5-Turboの54.66を上回りました。」

— Mikhail Evtikhiev、JetBrainsの研究者