Pixtral-12Bの衛星画像分類向けファインチューニング

衛星画像上でPixtral-12Bをファインチューニングすると、複雑な視覚シーンの分類能力が著しく向上し、全体的な精度が0.56から0.91にまで向上します。これは、特定のドメインにおける低ランク適応（LoRA）を用いたドメイン特化型の適応が、プロンプト工学よりも専門的な視覚ドメインにおいて効果的であることを示しています。

LoRAによる効率的なモデル適応

低ランク適応（LoRA）は、大規模な視覚言語モデル（VLM）の効率的な適応を可能にする手法であり、モデルの重みに小さなトレーナブルなランク分解行列を挿入することで実現します。この方法ではモデル全体を変更する必要がなく、フルリトレーニングよりもリソース効率が高くなります。

プロンプト工学や少数のショット例が不十分な場合に特に有用です。複雑なプロンプトは維持が難しく、結果が一貫性に欠ける一方で、LoRAベースのファインチューニングは、少量の選別された例を用いて、モデルを専門知識、特定のトーン、またはドメイン固有の語彙へとより信頼性高く導くことができます。

衛星画像への応用

衛星画像は、政府、防衛、農業、気候科学などで、森林伐採の追跡や環境変化のモニタリングといったタスクに用いられる専門的な視覚ドメインです。これらの画像には独自のパターンや意味論が含まれるため、一般向けの視覚モデルでは特定の専門性がなければ信頼できるインサイトを抽出するのが困難です。

ケーススタディ：Aerial Image Dataset (AID)

ファインチューニングの効果を評価するために、Mistral AIは、衛星画像を詳細なシーンカテゴリに分類するための公開ドメインベンチマークであるAerial Image Dataset (AID) を使用しました。このデータセットには30のクラスが含まれており、例えば「密集した住宅地」と「中程度の住宅地」のような微細な違いも含まれます。

Pixtral-12Bのベースライン性能

8,000件のトレーニングサンプルと2,000件のテストサンプルを用いた従来の分類設定において、ベースラインのPixtral-12Bモデルは、構造化されたJSON出力を強制するシステムプロンプトを使用して、妥当なベースライン結果を達成しました。しかし、モデルには2つの主要な制限がありました：

曖昧なクラス区別：視覚的な違いが微細なクラスに対して苦戦しました。たとえば、「遊具場」と「スタジアム」の両方を「スタジアム」と誤分類したのは、スポーツフィールドを囲む座席の存在を捉えられなかったためです。
幻覚：言語モデルがラベルセットに明示的に制約されていないため、存在しないまたは無効なクラス名を「幻覚」する場合があり、幻覚率は5%でした。

ファインチューニングプロセスと実装

Pixtral-12Bは、MistralのファインチューニングAPIとLaPlateforme UIを用いてファインチューニングされました。戦略としては、特定のシステムプロンプトと入力画像に対して、アシスタントの出力に正しいラベルを提供するものでした。

重要なハイパーパラメータの推奨事項は以下の通りです：

学習率：最適な重みに過剰に飛び越えてしまうのを防ぐために、小さい値からスタートする。
バッチサイズ：計算リソースに合わせて、安定した勾配を得られるサイズを選ぶ。
エポック数：最初は1エポックから始め、過学習の兆候を監視する。

LaPlateformeでは、エンジンがデータセットのサイズと内部ベンチマークに基づいて最適なバッチサイズを自動計算します。

結果とパフォーマンス向上

ファインチューニングにより、すべてのクラスにおいて分類指標が大幅に向上しました。主な改善点は以下の通りです：

精度：全体的な精度が0.56から0.91に向上。
幻覚：幻覚率が5%から0.1%に低下。
コスト効率：$10未満の限られた予算と、30クラスにわたる8,000サンプルという比較的小さなデータセットでこれらの結果を達成。

専門的VLMに対する広範なインパクト

Pixtral-12Bが衛星画像で成功したことは、LoRAファインチューニングが、一般VLMのトレーニングデータセットに十分に含まれていない高度に専門的な視覚データに対して、スケーラブルかつコスト効率の良いアプローチである可能性を示唆しています。潜在的な応用例には、医療画像のキャプション生成、古代文書の音声変換、監視画像からの詳細レポート作成などが含まれます。