Ollama マルチモーダルエンジンのリリース

Ollama は、ビジョンモデルをエコシステム内での主要な存在として扱えるように設計された新しいマルチモーダルエンジンをリリースしました。このアップデートにより、ローカル推論の信頼性と正確性が向上し、音声、画像生成、動画生成、拡張されたツールサポートなどの将来のモダリティ対応の基盤が築かれました。

サポートされるマルチモーダルモデル

Ollama の新しいエンジンは、いくつかの高性能ビジョンモデルのローカル実行を可能にしています。以下が対応モデルです：

Meta Llama 4（Mixture-of-Experts モデルである 109B パラメータの Llama 4 Scout を含む）
Google Gemma 3
Qwen 2.5 VL
Mistral Small 3.1

主要な技術的機能

一般的な理解と推論

新しいエンジンは、複雑な視覚的推論とマルチイメージ分析をサポートしています。たとえば、Llama 4 Scout は動画フレームを分析し、サンフランシスコのフェリー・ビルディングなど特定の場所を特定し、他のランドマークまでの距離を計算するなど、場所に基づく推論を実行できます。

Gemma 3 はマルチイメージ入力をサポートしており、複数の画像を一度に送信したり、フォローアッププロンプトで送信することで、画像間の共通要素を特定したり、異なる視覚的主題間の関係について推論できます。

ドキュメントスキャンとOCR

Qwen 2.5 VL は、高精度な文字認識とドキュメントスキャンに使用されています。これには、縦書きの中国語対句を英語に理解・翻訳する機能も含まれます。

アーキテクチャの改善

モデルのモジュール化

信頼性の向上と統合の簡素化を目的として、Ollama は自己完結型のモデルアーキテクチャへ移行しました。以前は ggml/llama.cpp に依存していたため、テキストデコーダーとビジョンエンコーダーが別々のモデルとして独立して実行されており、オーケストレーション層にモデル固有のロジックが必要でした。

新しいエンジンでは、各モデルが完全に自己完結しており、トレーニングに合わせた独自のプロジェクションレイヤーを公開しています。この分離により、複数のファイルを修正したり、連鎖的な if 文を使用したりする必要がなくなり、モデル作成者が他のモデルに影響を与えることなくコードを実装できるようになります。

推論の正確性

Ollama は、大量のトークンを生成する大きな画像を処理するためのメタデータ処理を導入しました。因果的アテンションを管理し、画像埋め込みをバッチに分割する最適な境界を決定することで、画像処理がモデルの元の設計およびトレーニングに従うようにし、画像の分割が不適切な場合に発生する出力品質の低下を防ぎます。

メモリ管理と最適化

Ollama は、パフォーマンス向上とリソース消費の削減を目的とした複数のメモリ特化最適化を導入しました：

画像キャッシュ：処理済みの画像はキャッシュされ、以降のプロンプトを高速化します。使用中の間はキャッシュが維持されます。
ハードウェア統合：NVIDIA、AMD、Qualcomm、Intel などのハードウェアメーカーおよび Microsoft と協力し、より良いメモリ推定のためのハードウェアメタデータを検出しています。
KV キャッシュ最適化：因果的アテンションは個々のモデルレベルで設定されています。たとえば、Gemma 3 はスライディングウィンドウアテンションを使用して、コンテキスト長の割り当てを最適化し、並行処理を増加させています。
Llama 4 サポート：Llama 4 Scout および Maverick に対して、Ollama はチャンク化アテンション、より長いコンテキスト向けのアテンションチューニング、特定の 2D 回転埋め込み、および Mixture-of-Experts (MoE) サポートを実装しました。

今後のロードマップ

Ollama は、プラットフォームのさらなる強化を進めています。以下が計画中の機能です：

より長いコンテキストサイズのサポート
思考と推論機能の統合
ストリーミングレスポンス付きのツール呼び出し
「コンピュータ使用」機能の有効化