Leanstral 1.5 릴리스: 최첨단 형식 검증 모델

TL;DR

Leanstral 1.5는 무료로 제공되며 Apache‑2.0 라이선스를 따르는 형식 추론 모델(총 119 B, 활성 파라미터 6 B)로, miniF2F에서 100 %를 달성하고 PutnamBench 문제 587/672개를 해결하며 FATE‑H에서 87 %, FATE‑X에서 34 %의 새로운 최고 성능을 기록했으며, 오픈소스 저장소에서 실제 버그를 발견했습니다.

모델 개요

Leanstral 1.5는 원본 Leanstral 아키텍처를 기반으로 하며, 중간 훈련, 감독형 미세조정, CISPO 알고리즘을 사용한 강화학습이라는 세 단계 훈련 파이프라인을 갖추고 있습니다. 이 모델은 Lean 4에서의 증명 공학에 최적화되어 있으며, 총 파라미터 수가 119 B이지만 활성 파라미터는 단지 6 B에 불과합니다.

훈련 환경

다단계 환경 – 모델은 정리 문장을 받고, 증명을 시도한 후 Lean 컴파일러의 피드백을 받아 증명을 반복적으로 개선하며, 컴파일이 성공하거나 토큰 예산이 소진될 때까지 진행합니다.
코드 에이전트 환경 – Leanstral은 원시 파일 시스템 내 개발자처럼 동작합니다: 파일을 편집하고, bash 명령어를 실행하며, Lean 언어 서버를 통해 목표, 오류, 타입 정보를 쿼리합니다. 이를 통해 부분 증명 완성, 보조 정리 생성, 여러 번의 컨텍스트 압축 라운드에 걸쳐 지속되는 작업을 수행할 수 있습니다. 최종 증명은 Mistral의 SafeVerify 포크를 사용해 검증됩니다.

벤치마크 성능

Leanstral 1.5는 네 가지 주요 형식 추론 벤치마크에서 평가되었습니다.

miniF2F

결과: 검증 및 테스트 세트 모두에서 100 % 완료.
의미: 대수, 조합론, 수론 분야에서 초급부터 IMO 수준까지의 문제를 완전히 커버함을 보여줍니다.

PutnamBench

결과: 672개 문제 중 587개 해결 (약 87 %).
비교: Seed‑Prover 1.5(고성능 설정)보다 7문제 더 잘 풀었으며, 문제당 비용은 약 $4로 Seed‑Prover 고예산 설정의 $300+에 비해 훨씬 낮습니다.
확장성: 토큰 예산 증가에 따라 Pass@8이 단조롭게 증가: 50 k 토큰에서 44문제, 200 k에서 244문제, 1M에서 493문제, 4M에서 587문제.

FATE‑H 및 FATE‑X

결과: FATE‑H(대학원 수준 추상대수학)에서 87 %의 새로운 최고 성능, FATE‑X(박사 수준)에서 34 %의 새로운 최고 성능.
기준: 자연어 안내 없이도 Goedel‑Architect, Seed‑Prover 1.5, AxProverBase를 모두 상회합니다.

FLTEval

결과: Pass@1은 21.9 %에서 28.9 %로, Pass@8은 31.9 %에서 43.2 %로 향상.
비용 효율성: Opus 4.6의 39.6 % Pass@8을 능가하면서도 계산 비용은 약 1/7에 불과합니다.

테스트 시 확장성 행동

Leanstral은 형식 추론 모델 중에서 가장 강력한 테스트 시 확장성을 보입니다. 시도당 토큰 예산을 늘릴수록 해결 가능한 문제 수가 직접적으로 증가하며, PutnamBench 확장 곡선을 통해 이를 확인할 수 있습니다. 모델은 수백만 토큰에 걸쳐 추론을 지속할 수 있으며, AVL 트리 증명은 2.7 M 토큰과 22회의 컨텍스트 압축을 필요로 했습니다.

코드 검증 사례 연구

수학에 주로 훈련되었지만, Leanstral 1.5는 소프트웨어 검증에서도 강력한 능력을 보입니다.

AVL 트리 시간 복잡도 증명

Leanstral은 실제 AVL 트리 구현에 대해 삽입 및 삭제의 O(log n) 경계를 증명했습니다.
증명에는 구조적 귀납법, 단항 시간 추적, 철저한 경우 분석이 필요했습니다.
2.7 M 토큰과 22회의 압축을 거쳐, 트리 높이 단위당 48단계와 상수를 더한 경계를 도출한 후, 높이와 크기 사이의 로그 관계를 통해 연결했습니다.

자동 버그 탐지

파이프라인은 Rust 코드를 Lean으로 변환하고, 정확성 속성을 생성한 후, 각 속성에 대해 최대 4번의 증명 시도를 수행합니다.
속성 증명 실패 시, 그 부정을 4번 시도합니다.
57개 저장소에서 47개 속성이 위반되었으며, 그 중 11개는 실제 버그였고, 그 중 5개는 이전에 보고되지 않은 버그였습니다.
예시: datrs/varinteger에서 Std.U64.MAX에서 부호 함수가 오버플로우하여 디버그 모드에서는 충돌, 릴리스 모드에서는 침묵적 손상이 발생 — 전통적 테스트로는 놓친 엣지 케이스입니다.

시작하기

Leanstral 1.5는 Apache‑2.0 라이선스 하에 공개됩니다.

가중치: HuggingFace에서 mistralai/Leanstral-1.5-119B-A6B에 제공됩니다.
API: Mistral AI의 모델 카드에 문서화된 무료 엔드포인트 leanstral-1-5 사용 가능.
권장 클라이언트: Mistral Vibe.

빠른 설치 단계

# Mistral Vibe 설치
uv tool install mistral-vibe
uv tool update mistral-vibe vibe --setup

# Leanstral 1.5 설치 (임시 명령어)
/leanstallexit

# 에이전트 실행
vibe --agent lean

선택 사항: 더 풍부한 언어 서버 상호작용을 위해 Lean LSP MCP 서버 설치.

[[mcp_servers]]
name = "lean-lsp"
transport = "stdio"
command = "uvx"
args = ["lean-lsp-mcp"]
tool_timeout_sec = 600

설정 후 사용자는 Leanstral이 정리를 증명하거나 기존 증명을 디버깅하거나 저장소에 검증된 코드를 기여하도록 요청할 수 있습니다.

함의

Leanstral 1.5는 비교적 작은 활성 파라미터 수와 오픈소스 수준의 비용으로 고성능 형식 검증을 달성할 수 있음을 보여줍니다. 토큰 예산에 따라 확장 가능하고, 대규모 수학 벤치마크를 해결하며, 실제 소프트웨어 버그를 발견할 수 있다는 점은 학계와 산업계 모두에서 실용적이고 널리 접근 가능한 증명 공학 도구로의 전환을 시사합니다.