Mistral 7B リリースノート

Mistral AI は、サイズに対して高いパフォーマンスを発揮することを目的とした 73 億パラメータの言語モデルである Mistral 7B のリリースを発表しました。このモデルは Apache 2.0 ライセンスの下で公開されており、制限なく使用・デプロイが可能です。

パフォーマンスベンチマーク

Mistral 7B は、すべての評価ベンチマークで Llama 2 13B を上回り、多くの点で Llama 1 34B と同等の性能を発揮します。コードおよび推論能力に関しては、これらのモデルよりもはるかに優れており、CodeLlama 7B の性能に近づきつつ、英語タスクにおいても高い実力を維持しています。

Mistral AI によると、このモデルは推論、理解、STEM推論（MMLU）の分野で、サイズが3倍以上大きい Llama 2 モデルと同等の性能を発揮します。この効率性により、メモリ使用量の大幅な削減とスループットの向上が実現されます。

評価カテゴリ

性能は以下のテーマごとに測定されました：

• 常識的推論：Hellaswag、Winogrande、PIQA、SIQA、OpenbookQA、ARC-Easy、ARC-Challenge、CommonsenseQA の 0 ショット平均。
• 世界知識：NaturalQuestions と TriviaQA の 5 ショット平均。
• 読解力：BoolQ と QuAC の 0 ショット平均。
• 数学：8 ショット GSM8K（maj@8）と 4 ショット MATH（maj@4）の平均。
• コード：0 ショット Humaneval と 3 ショット MBPP の平均。
• 集計結果：5 ショット MMLU、3 ショット BBH、および 3-5 ショット AGI Eval（英語の複数選択問題のみ）。

技術的アーキテクチャ

Mistral 7B は、推論速度とシーケンス処理を最適化するための2つの主要なアーキテクチャ機能を実装しています。

グループ化クエリアテンション（GQA）

Mistral 7B は、推論速度を高速化するためのグループ化クエリアテンション（GQA）を採用しています。

スライディングウィンドウアテンション（SWA）

スライディングウィンドウアテンション（SWA）により、より長いシーケンスを低い計算コストで処理できます。このメカニズムでは、各レイヤーが直前の 4,096 個の隠れ状態に注目するため、計算コストは線形の O(スライディングウィンドウ.seq_len) となります。

SWA は、Transformer の積層構造を活用して、ウィンドウサイズよりも過去の情報をより遠くまでアクセス可能にします。たとえば、レイヤー k のトークンはレイヤー k-1 のウィンドウ内のトークンに注目し、それらのトークンはさらに過去のトークンに注目しています。これにより、モデルのアテンションの到達範囲が実質的に拡張されます。

実際の運用では、FlashAttention および xFormers の変更と組み合わせることで、16k 長のシーケンスに対して 2 倍の速度向上が得られ、4k ウィンドウの場合に固定アテンションスパンを活用することで、回転バッファを使用してキャッシュサイズをスライディングウィンドウのサイズに制限できます。これにより、8,192 長のシーケンスに対する推論において、キャッシュメモリを半分に削減しつつ、品質に影響を与えません。

ファインチューニングとインストラクションの遵守

ベースモデルの汎化能力を示すために、Mistral AI は HuggingFace から公開されているインストラクションデータセットを用いてファインチューニングされたバージョンである Mistral 7B Instruct をリリースしました。

Mistral 7B Instruct は、MT-Bench ベンチマークにおいてすべての 7B モデルを上回り、13B チャットモデルと同等の性能を発揮しています。このモデルは、独自のデータや特定の「テクニック」を使用せずにファインチューニングされています。

Mistral AI は、Instruct モデルには現在、モデレーション機構が搭載されていないと指摘しており、モデレートされた出力を必要とする環境での展開に向けたガードレールの開発をコミュニティとの協働で進めていると述べています。