Mistral Small 4 リリースノート / 新機能

Mistral AIは、Magistral(推論)、Pixtral(マルチモーダル)、Devstral(エージェント的コーディング)の機能を単一のアーキテクチャに統合した統合モデル、Mistral Small 4のリリースを発表しました。このリリースにより、ユーザーはタスクごとに特化したモデルを切り替える必要がなくなり、設定可能な推論負荷(reasoning effort)と高い効率性を備えた多用途なツールを利用できるようになります。

統合されたモデルの機能

Mistral Small 4は、これまで別々であった3つのモデルの強みを1つのシステムに統合しています:

  • Reasoning(推論): Magistralから継承された能力。
  • Multimodal(マルチモーダル): Pixtralから継承された画像およびテキスト入力のサポート。
  • Agentic Coding(エージェント的コーディング): Devstralから継承されたコーディング自動化およびエージェント的ワークフロー。

この統合により、ユーザーはタスクに応じてモデルを変更することなく、チャットアシスタント、リサーチパートナー、またはコーディングエージェントとしてモデルを利用できます。

技術アーキテクチャと仕様

Mistral Small 4は、Mixture of Experts (MoE) アーキテクチャを利用したハイブリッドモデルです。主な技術仕様は以下の通りです:

  • パラメータ数: 総パラメータ数 119B、トークンあたりのアクティブパラメータ数 6B(embeddingおよび出力レイヤーを含む場合は8B)。
  • エキスパート構成: 128エキスパート、トークンあたり4つがアクティブ。
  • コンテキストウィンドウ: 256k トークン、長文ドキュメントの分析や対話に対応。
  • 入力サポート: テキストと画像の両方の入力を可能にするネイティブ・マルチモーダル。
  • ライセンス: Apache 2.0 ライセンスの下でリリース。

設定可能な推論負荷

このモデルは、モデルの処理の深さを動的に調整できる reasoning_effort パラメータを導入しています:

  • reasoning_effort="none": 日常的なタスクに対して高速で軽量なレスポンスを提供し、Mistral Small 3.2 のチャットスタイルを反映します。
  • reasoning_effort="high": 複雑な問題に対して、従来の Magistral モデルに匹敵する詳細なステップバイステップの推論を可能にします。

パフォーマンスと効率性

Mistral Small 4は、Mistral Small 3と比較してスループットとレイテンシにおいて大幅な改善を示しています:

  • レイテンシ: レイテンシ最適化設定において、エンドツーエンドの完了時間が 40% 削減。
  • スループット: スループット最適化設定において、1秒あたりのリクエスト数が 3倍に増加。

ベンチマーク比較において、推論機能を備えた Mistral Small 4 は、より短い出力で 3つのベンチマークにおいて GPT-OSS 120B と同等またはそれを上回る成績を収めています。AA LCR ベンチマークでは、1.6K 文字を使用して 0.72 のスコアを記録しましたが、Qwen モデルが同等のパフォーマンスを得るには 3.5〜4倍の出力(5.8〜6.1K 文字)を必要とします。LiveCodeBench では、20% 少ない出力で GPT-OSS 120B を上回っています。

デプロイメントとインフラストラクチャ要件

Mistral Small 4 は NVIDIA ハードウェア向けに最適化されており、NVIDIA Nemotron Coalition の創設メンバーでもあります。デプロイメントのオプションには以下が含まれます:

インフラストラクチャ層

  • 最小インフラ: 4x NVIDIA HGX H100、2x NVIDIA HGX H200、または 1x NVIDIA DGX B200。
  • 推奨構成: 最適なパフォーマンスを得るために、4x NVIDIA HGX H100、4x NVIDIA HGX H200、または 2x NVIDIA DGX B200。

利用可能性と統合

  • プラットフォーム: Mistral API、AI Studio、および Hugging Face 経由で利用可能。
  • フレームワーク: vLLM、llama.cpp、SGLang、および Transformers をサポート。
  • NVIDIA 統合: コンテナ化された推論用の NVIDIA NIM として利用可能であり、ドメイン特化のファインチューニング用に NVIDIA NeMo でカスタマイズ可能。
  • プロトタイピング: build.nvidia.com で無料のプロトタイピングが可能です。

Sources

関連

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch