Pixtral 12B リリースノート

Mistral AIは、画像とテキストデータが交互に配置されたデータを処理するように設計された、ネイティブなマルチモーダルモデルであるPixtral 12Bを発表しました。Pixtral 12Bは、Mistral Nemo 12Bのドロップインリプレースメント（そのまま置き換え可能なモデル）として位置付けられており、コーディング、数学、指示への追従性を含むテキストのみのベンチマークにおいて高いパフォーマンスを維持しつつ、最先端のマルチモーダル推論を提供します。

技術アーキテクチャ

Pixtralは、ビジョンエンコーダーとマルチモーダル・トランスフォーマー・デコーダーの2つのコンポーネントで構成されるアーキテクチャを利用しています。

ビジョンエンコーダーと可変画像サポート

Pixtralは、ゼロからトレーニングされた新しい400Mパラメータのビジョンエンコーダーを特徴としています。主要な技術的進歩は、可変の画像サイズとアスペクト比をネイティブにサポートしていることです。画像はネイティブの解像度でエンコーダーを通過し、16x16のパッチごとに画像トークンに変換されます。空間的な認識を維持するために、モデルは行を区別するための [IMG BREAK] トークンと、画像の終わりを示す [IMG END] トークンを使用します。これにより、モデルは高解像度の複雑な図解やチャートを効率的に処理しながら、小さな画像に対しては高速な推論を維持することができます。

マルチモーダル・デコーダーとコンテキスト・ウィンドウ

このモデルは、Mistral Nemoに基づいた12Bパラメータのマルチモーダル・デコーダーを採用しています。画像とテキストデータが交互に配置されたデータでトレーニングされており、次のテキストトークンを予測します。このアーキテクチャは、128Kトークンの長いコンテキスト・ウィンドウ内で複数の画像を処理することをサポートしています。

パフォーマンスとベンチマーク

Pixtral 12Bは、ベースとなるテキストモデルのテキスト能力を低下させることなく、クラス最高のマルチモーダル推論を提供できるように設計されています。

マルチモーダル推論

Pixtralは、MMMU推論ベンチマークで52.5%のスコアを達成し、いくつかのより大きなモデルを上回っています。ドキュメントの質問回答、チャートや図解の理解、およびマルチモーダル推論において強力な能力を示しています。

指示への追従性

Pixtralは、他のオープンなマルチモーダルモデルと比較して、指示への追従性において大きな優位性を示しています。Mistral AIは、テキストの IF-Eval および MT-Bench において、最も近いオープンソース（OSS）モデルと比較して20%の相対的な改善を報告しています。これらの主張を検証するために、Mistral AIはこれらのベンチマークのマルチモーダル版である MM-IF-Eval および MM-MT-Bench を開発しました。そこでもPixtralはオープンソースの代替案を上回っています。

比較評価

一貫した評価フレームワークとプロンプトを使用して、Pixtralはオープンモデルとクローズドモデルの両方と比較されました。結果は、Pixtralが同規模のオープンモデルを大幅に上回り、マルチモーダルベンチマークにおいてLLaVa OneVision 72Bのようなはるかに大きなモデルの性能に匹敵、あるいはそれを超えることを示しています。また、いくつかのケースではClaude 3 Haikuのようなクローズドモデルをも上回っています。

機能とユースケース

Pixtral 12Bは、さまざまな複雑な視覚的タスクを処理することが可能です：

複雑な図解の推論: 視覚的な図解からデータを抽出して構造化すること（例：チャートからGDP上位国を特定すること）。
チャート分析: トレーニング損失曲線（training loss curves）を解釈し、データ傾向における特定の失敗点を特定すること。
マルチイメージ・プロセッシング: 複数の画像ベースのテーブルを、単一の構造化されたMarkdownテーブルに結合すること。
画像からコードへの生成: 視覚的なウェブサイトのモックアップを、機能的なHTMLおよびCSSコードに変換すること。
自然なシーンの理解: 自然な写真における錯覚や空間的な関係を解釈すること。

利用可能範囲とライセンス

Pixtral 12BはApache 2.0ライセンスの下でリリースされています。以下の方法でアクセス可能です：

Le Chat: Mistral AIの対話型チャットインターフェース。
La Plateforme: アプリケーションへの統合のためにAPI経由で利用可能。
Local Deployment: mistral-inference および vLLMライブラリを通じてサポートされています。より高いサービング・スループットを実現するために。