Mistral AI Leanstral 출시

Mistral AI는 Lean 4 증명 보조 도구(proof assistant)를 위해 특별히 설계된 오픈 소스 코드 에이전트인 Leanstral을 출시했습니다. Leanstral은 에이전트가 엄격한 사양에 따라 구현을 공식적으로 증명할 수 있도록 함으로써, 높은 신뢰도가 요구되는 소프트웨어 및 수학 연구에서의 인간 검토 병목 현상을 줄이는 것을 목표로 합니다.

Leanstral 기술 아키텍처 및 액세스

Leanstral은 6B 활성 파라미터를 사용하는 희소 아키텍처(sparse architecture)를 활용하는 매우 효율적인 모델입니다. 증명 엔지니어링 작업에 최적화되어 있으며, Lean이 완벽한 검증자(verifier) 역할을 수행하여 비용 효율성과 성능을 유지하는 병렬 추론을 활용합니다.

가용성 및 라이선스:

라이선스: Apache 2.0 라이선스 하에 출시되었습니다.
통합: Mistral Vibe 내에서 에이전트 모드로 사용할 수 있습니다 (/leanstall 또는 vibe --agent lean).
API: labs-leanstral-2603 무료/저가형 API 엔드포인트를 통해 접근할 수 있습니다.
가중치: 모델 가중치는 로컬 배포를 위해 사용할 수 있습니다.

Leanstral은 Vibe를 통해 임의의 Model Context Protocols (MCPs)를 지원하며, 특히 lean-lsp-mcp에 최적화되어 있습니다.

FLTEval 성능 벤치마크

현실적인 증명 엔지니어링 시나리오에서 모델을 평가하기 위해, Mistral AI는 FLT 프로젝트에 대한 풀 리퀘스트(pull requests) 내에서 공식 증명 완료 및 새로운 수학적 개념 정의를 벤치마크하는 새로운 평가 스위트인 FLTEval을 도입했습니다.

오픈 소스 모델과의 비교

Leanstral-120B-A6B는 더 큰 오픈 소스 모델들에 비해 상당한 효율성 이점을 보여줍니다. GLM5-744B-A40B와 Kimi-K2.5-1T-32B가 각각 FLTEval 점수를 약 16.6 및 20.1로 제한한 반면, Leanstral은 단 한 번의 패스(single pass)만으로 두 모델을 모두 능가했습니다.

Qwen3.5-397B-A17B는 25.4점에 도달하기 위해 4번의 패스가 필요했지만, Leanstral은 단 2번의 패스(pass@2)만으로 26.3점이라는 우수한 점수를 달성했으며, 동일한 비용 수준에서 29.3점에 도달했습니다(pass@4).

Claude 제품군과의 비교

Leanstral은 Claude 제품군에 대한 고가치 대안을 제공하며, 더 낮은 비용으로 경쟁력 있는 성능을 제공합니다:

| Model | Cost ($) | Score | | :--- | :--- | :--- | | | Haiku | 184 | 23.0 | | Sonnet | 549 | 23.7 | | Opus | 1,650 | 39.6 | | Leanstral | 18 | 21.9 | | Leanstral pass@2 | 36 | 26.3 | | Leanstral pass@4 | 72 | 29.3 | | Leanstral pass@8 | 145 | 31.0 | | Leanstral pass@16 | 290 | 31.9 |

pass@2에서 Leanstral(점수 26.3)은 Sonnet(점수 23.7)을 2.6점 차이로 이기고, Sonnet의 $549와 비교하여 $36의 비용으로 이를 달성했습니다. pass@16에서 Leanstral은 31.9점에 도달하여 Sonnet을 8점 차이로 앞섭니다.

실무적 역량 및 사례 연구

Leanstral은 복잡한 컴파일 이슈를 진단단하고 증명 보조 도구 간의 공식 정의를 번역하는 능력을 갖추고 있습니다.

Lean 4 릴리스 디버깅

Lean 4.29.0-rc6에서 컴파일이 중단된 스크립트와 관련된 실제 사례에서, Leanstral은 def로 생성된 타입 별칭(type alias)으로 인해 rw (rewrite) 전술(tactic)이 실패하는 것을 진단했습니다. 모델은 테스트 코드로 실패하는 환경을 재현하고, def가 rw 전술을 차단하는 경ط의 고정 정의(rigid definition)ization을 생성한다는 것을 정확히 올바르게 식별했습니다. Leanstral은 def를 abbrev로 교체하여 문제를 해결했습니다. abbrev는 투명한 별칭을 생성하여 rw 전술이 패턴을 성공적으로 매칭할 수 있도록 합니다.

프로그램 추론 및 번역

Leanstral은 사용자 정의 노테이션(custom notation) 구현을 포함하여 Rocq에서 Lean으로 정의를 성공적으로 변환했습니다. 또한 Rocq 문장을 만듭니다. 그리고 이후에 Lean에서 해당 프로그램의 속성을 증명할 수 있습니다. 예를 들어, 변수 X에 2를 더하는 명령이 상태를 n+2로 정확하게 업데이트하는지 증명하는 것과 같은 작업입니다.