Leanstral 1.5リリース：最先端の形式的検証モデル

TL;DR

Leanstral 1.5は、無料で利用可能でApache‑2.0ライセンスのもと提供される形式的推論モデル（合計119 B、有効パラメータ6 B）であり、miniF2Fで100 %、PutnamBenchでは672問中587問を解き、FATE‑Hで87 %、FATE‑Xで34 %という新たな最先端スコアを達成し、オープンソースリポジトリに実際のバグを発見しました。

モデル概要

Leanstral 1.5は、オリジナルのLeanstralアーキテクチャを基盤とし、中間訓練、教師あり微調整、CISPOアルゴリズムを用いた強化学習という3段階の訓練パイプラインを採用しています。このモデルはLean 4における証明工学に最適化されており、合計119 Bのパラメータを持つにもかかわらず、有効パラメータはわずか6 Bで動作します。

訓練環境

マルチターン環境 – モデルは定理の主張を受け取り、証明を試行し、Leanコンパイラからのフィードバックを得て、コンパイル可能になるか、トークン予算が尽きるまで反復的に証明を改善します。
コードエージェント環境 – Leanstralは、ローカルファイルシステム上で開発者のように振る舞います：ファイルの編集、bashコマンドの実行、Lean言語サーバーからのゴール、エラー、型情報の照会が可能です。これにより、部分証明の完了、補助命題の生成、複数のコンテキスト圧縮ラウンドにわたる継続的な作業といった長距離タスクが可能になります。最終的な証明は、MistralがフォークしたSafeVerifyで検証されます。

ベンチマーク性能

Leanstral 1.5は、4つの主要な形式的推論ベンチマークで評価されました。

miniF2F

結果: 検証セットおよびテストセットの両方で100 %の飽和。
意義: 代数、組合せ論、数論における初等的からIMOレベルまでの問題を完全にカバーしていることを示しています。

PutnamBench

結果: 672問中587問を解消（約87 %）。
比較: Seed‑Prover 1.5（高設定）を7問多く解消。一方、Seed‑Proverの高予算設定では1問あたり約300ドル以上かかるのに対し、Leanstralは約4ドルで済みます。
スケーリング: Pass@8はトークン予算に比例して単調増加：50 kトークンで44問、200 kで244問、1 Mで493問、4 Mで587問。

FATE‑HおよびFATE‑X

結果: FATE‑H（大学院レベルの抽象代数）で87 %、FATE‑X（博士課程レベル）で34 %という新たな最先端スコア。
ベースライン: 自然言語ガイドなしの同等条件で、Goedel‑Architect、Seed‑Prover 1.5、AxProverBaseを上回りました。

FLTEval

結果: Pass@1は21.9 %から28.9 %へ、Pass@8は31.9 %から43.2 %へ改善。
コスト効率: Opus 4.6のPass@8 39.6 %を上回りながら、計算コストは約1/7に抑えました。

テスト時スケーリング特性

Leanstralは、形式的推論モデルの中で観測された最も強力なテスト時スケーリングを示しています。試行ごとのトークン予算を増やすと、解ける問題数が直接的に増加します。PutnamBenchのスケーリング曲線がそれを示しています。モデルは数百万トークンにわたる推論を維持でき、AVLツリー証明では270万トークンと22回のコンテキスト圧縮を必要としました。

コード検証の事例研究

数学に主に訓練されたにもかかわらず、Leanstral 1.5はソフトウェア検証においても堅牢な能力を示しています。

AVLツリーの時間計算量証明

Leanstralは、実際のAVLツリー実装の挿入・削除の時間計算量がO(log n)であることを証明しました。
証明には構造的帰納法、モナディックな時間追跡、網羅的なケース分析が含まれました。
270万トークンと22回の圧縮を経て、モデルは「高さ1単位あたり48ステップ＋定数」という上限を導出し、高さとサイズの間に対数関係を確立しました。

自動バグ発見

パイプラインはRustコードをLeanに変換し、正当性の性質を生成し、各性質に対して最大4回の証明を試行します。
性質の証明に失敗すると、その否定を4回試行します。
57のリポジトリで調査した結果、47の性質が違反しており、そのうち11件が本物のバグであり、そのうち5件は以前に報告されていなかったものです。
例：datrs/varintegerでは、Std.U64.MAXで符号関数がオーバーフローし、デバッグモードではクラッシュ、リリースモードでは静かに破損を引き起こすというエッジケースが見つかりました——従来のテストでは見逃されていたケースです。

使い始め

Leanstral 1.5はApache‑2.0ライセンスのもとリリースされています。

重み: HuggingFaceで mistralai/Leanstral-1.5-119B-A6B から入手可能。
API: Mistral AIのモデルカードに記載された無料エンドポイント leanstral-1-5 が利用可能。
推奨クライアント: Mistral Vibe。

クイックインストール手順

# Mistral Vibeのインストール
uv tool install mistral-vibe
uv tool update mistral-vibe vibe --setup

# Leanstral 1.5のインストール（プレースホルダーコマンド）
/leanstallexit

# エージェントの起動
vibe --agent lean

オプション: より豊かな言語サーバーとの相互作用を実現するため、Lean LSP MCPサーバーをインストールすることを推奨します。

[[mcp_servers]]
name = "lean-lsp"
transport = "stdio"
command = "uvx"
args = ["lean-lsp-mcp"]
tool_timeout_sec = 600

セットアップ後、ユーザーはLeanstralに定理の証明、既存証明のデバッグ、リポジトリへの検証済みコードの貢献を依頼できます。

意味

Leanstral 1.5は、比較的小さな有効パラメータ数とオープンソースレベルのコストで、高性能な形式的検証が実現可能であることを示しています。トークン予算に応じたスケーリング能力、大規模な数学ベンチマークの解決、実際のソフトウェアバグの発見という能力から、学術界および産業界の両方にとって実用的で広く利用可能な証明工学ツールへのシフトが見込まれます。