Mathstral 7B 출시

Mistral AI는 복잡한 다단계 논리적 추론이 필요한 고급 수학 문제를 해결하도록 설계된 7B 파라미터 모델인 Mathstral을 공개했습니다. Project Numina와의 협업을 통해 개발된 Mathstral은 그 크기 범주 내에서 최첨단의 추론 능력을 제공함으로써 과학 공동체와 학술 프로젝트를 지원하기 위해 고안되었습니다.

기술적 기반 및 전문화

Mathstral은 Mistral 7B 아키텍처를 기반으로 하며, 과학, 기술, 공학, 수학(STEM) 분야에 특화되어 있습니다. 지시된 모델로 출시되어 특정 지시사항을 따르도록 사전 구성되어 있으며, 추가적인 피니튜닝을 통해 더욱 맞춤형으로 조정할 수 있습니다.

성능 벤치마크

Mathstral 7B는 산업 표준 벤치마크에서 그 크기 범주 내에서 최고 수준의 추론 능력을 달성합니다. 주요 성능 지표는 다음과 같습니다:

• MATH 벤치마크: 56.6%
• MMLU 벤치마크: 63.47%

추론 시 계산의 영향

추론 단계에서 추가적인 계산을 적용할 경우 모델의 성능이 크게 향상됩니다. 구체적으로 Mathstral 7B의 MATH 점수는 다음과 같이 증가합니다:

• 68.37% 다수결 투표를 사용할 때.
• 74.59% 64개 후보 중 강력한 보상 모델을 사용할 때.

가용성 및 구현 방법

Mathstral은 HuggingFace에 호스팅된 가중치를 통해 과학 공동체에 제공됩니다. 사용자는 다음 도구를 사용하여 모델을 구현할 수 있습니다:

• 추론: mistral-inference 도구 (v1.2.0).
• 적응: 사용자 정의 피니튜닝을 위한 mistral-finetune 도구.

개발 철학

Mathstral은 Mistral AI가 성능과 속도 사이의 균형을 최적화하기 위해 특정 목적을 위한 모델을 구축하는 철학을 보여줍니다. 이 접근 방식은 la Plateforme에서 제공하는 피니튜닝 기능을 통해 더욱 강화됩니다.