Mistral AI Leanstral リリース

Mistral AIは、Lean 4証明助手専用に設計されたオープンソースのコードエージェントであるLeanstralをリリースしました。Leanstralは、エージェントが厳格な仕様に対して実装を形式的に証明できるようにすることで、極めて重要なソフトウェアや数学的研究における人間によるレビューのボトルネックを軽減することを目指しています。

Leanstralの技術アーキテクチャとアクセス方法

Leanstralは、6Bのアクティブパラメータを持つスパースアーキテクチャを利用した、非常に効率的なモデルです。証明エンジニアリングのタスクに最適化されており、Leanを完璧な検証器として活用する並列推論を利用することで、コスト効率とパフォーマンスを両立させています。

可用性とライセンス:

  • ライセンス: Apache 2.0ライセンスの下でリリースされています。
  • 統合: Mistral Vibe内でエージェントモードとして利用可能です（/leanstall または vibe --agent lean を使用）。
  • API: labs-leanstral-2603 無料/低コストAPIエンドポイントを通じてアクセス可能です。
  • 重み: モデルの重みはローカルデプロイ用に利用可能です。

LeanstralはVibeを通じて任意のModel Context Protocols (MCPs)をサポートしており、特に lean-lsp-mcp に最適化されています。

FLTEvalにおけるパフォーマンスベンチマーク

現実的な証明エンジニアリングのシナリオでモデルを評価するために、Mistral AIはFLTEvalを導入しました。これは、FLTプロジェクトへのプルリクエスト内における形式的な証明の完了と新しい数学的概念の定義をベンチマークする新しい評価スイートです。

オープンソースモデルとの比較

Leanstral-120B-A6Bは、より大規模なオープンソースモデルに対して顕著な効率性の優位性を示しています。GLM5-744B-A40BとKimi-K2.5-1T-32Bは、FLTEvalのスコアがそれぞれ約16.6と20.1で頭打ちとなりましたが、Leanstralは単一のパスで両者を上回りました。

Qwen3.5-397B-A17Bはスコア25.4に達するために4回のパスを必要としましたが、Leanstralはわずか2回のパス（pass@2）で優れたスコア26.3を達成し、同じコストレベルで29.3（pass@4）に達しました。

Claudeファミリーとの比較

Leanstralは、Claudeスイートに対して高価値な代替案を提供し、低いコストで競争力のあるパフォーマンスを実現します。

Model Cost ($) Score
Haiku 184 23.0
Sonnet 549 23.7
Opus 1,650 39.6
Leanstral 18 21.9
Leanstral pass@2 36 26.3
Leanstral pass@4 72 29.3
Leanstral pass@8 145 31.0
Leanstral pass@16 290 31.9

pass@2において、Leanstral（スコア26.3）は、Sonnet（スコア23.7）を、Sonnetの$549に対し$36というコストで2.6ポイント上回っています。pass@16において、Leanstralはスコア31.9に達し、Sonnetを8ポイント上回っています。

実用的な能力とケーススタディ

Leanstralは、複雑なコンパイル問題を診断し、証明助手間で形式的な定義を翻訳する能力を備えています。

Lean 4 リリースのデバッグ

Lean 4.29.0-rc6でコンパイルが停止したスクリプトという実世界のシナリオにおいて、Leanstralは、defによって作成された型エイリアスが原因でrw (rewrite) タクティクが失敗していることを診断しました。モデルはテストコードを用いて失敗する環境を再現し、defがrwタクティクをブロックする硬直した定義を作成することを正しく特定しました。Leanstralは、defをabbrevに置き換えることで修正案を提示し実装しました。abbrevは透過的なエイリアスを作成するため、rwタクティクがパターンに正常にマッチングできるようになります。

プログラムの推論と翻訳

Leanstralは、カスタムの記法を含むRocqからの定義の変換に成功しました。RocqのステートメントをLeanに翻訳し、その後、そのプログラムに関する特性をLeanで証明することが可能です。例えば、変数Xに2を加えるコマンドが、状態をn+2へと正しく更新することなどを証明できます。

Sources

関連

  • Dispatch
    Leanstral 1.5: すべての人に証明の豊かさを

    Mistral AIは、形式検証と数学に特化したApache-2.0ライセンスのモデルであるLeanstral 1.5をリリースしました。FATE-H/Xベンチマークで最先端の結果を達成し、miniF2Fを飽和させています。

  • Dispatch
    Leanstral 1.5 リリースノート

    Mistral AI は、Lean 4 形式証明エンジニアリング、自動定理証明、および autoformalization に最適化された、119B パラメータの特化型モデル Leanstral 1.5 をリリースしました。

  • Dispatch
    Leanstral 1.5リリース：最先端の形式的検証モデル

    Mistral AIは、119 Bパラメータ、Apache‑2.0ライセンスのLeanstral 1.5をリリースしました。このモデルはminiF2Fで飽和し、PutnamBenchの672問中587問を解き、オープンソースコードに以前未知のバグを発見しました。

  • Dispatch
    Mistral AI Devstral リリース

    Mistral AIは、SWE-Bench Verifiedベンチマークにおいてオープンソースモデルを凌駕し、Apache 2.0ライセンスの下で利用可能な、ソフトウェアエンジニアリング用のエージェンティックなLLMであるDevstralをリリースしました。

  • Dispatch
    Mistral AI Devstral 2 と Mistral Vibe CLI のリリース

    Mistral AI は、SWE-bench Verified で SOTA (state-of-the-art) のパフォーマンスを達成し、高いコスト効率を実現するオープンウェイトのコーディングモデル Devstral 2 (123B) と Devstral Small 2 (24B) を、自律的なコード自動化のためのオープンソース Mistral Vibe CLI と共にリリースしました。