Ollama 新しいモデルスケジューリングのアップデート

Ollama は、メモリ推定を正確なメモリ測定に置き換える新しいモデルスケジューリングシステムをリリースしました。このアップデートにより、メモリ不足によるクラッシュが減少し、システムの安定性が向上するとともに、GPU利用率を最大化し、マルチGPUスケジューリングを最適化することでパフォーマンスが向上します。

正確なメモリ測定とシステムの安定性

Ollama の新しいエンジンは、推定に頼るのではなく、モデルを実行するために必要な正確なメモリ量を計算するようになりました。この正確なメモリ管理への移行により、過剰な割り当てが排除され、メモリ不足 (OOM) 問題によるクラッシュの頻度が大幅に減少します。

GPU 利用率とパフォーマンスの向上

新しいスケジューリングシステムは、GPU により多くのメモリを割り当てることで GPU 利用率を最大化し、トークン生成速度とプロンプト処理速度の両方を直接的に向上させます。この最適化はマルチGPU構成にも適用され、Ollama は複数のカード間でモデルをより効率的にスケジューリングするようになり、マルチGPUおよび不一致なGPU構成の両方でパフォーマンスが向上します。

パフォーマンス・ベンチマーク

単一の NVIDIA GeForce RTX 4090 を使用したテストでは、コンテキスト長 128k の gemma3:12b モデルは、トークン生成速度が 52.02 tokens/s から 85.54 tokens/s に大幅に増加し、VRAM 使用量は 19.9GiB から 21.4GiB に増加、全 49 レイヤーが GPU にロードされました。

2 つの NVIDIA GeForce RTX 4090 GPU を使用し、mistral-small3.2 モデルと 32k コンテキスト長を使用した画像入力タスクでは、プロンプト評価速度が 127.84 tokens/s から 1380.24 tokens/s に向上し、トークン生成速度が 43.15 tokens/s から 55.61 tokens/s に上昇しました。この構成では、全 41 レイヤーとビジョンモデルが GPU にロードされました。

システム監視とレポート

メモリのレポート機能がツール間で同期されるようになりました。ollama ps で表示される測定値は、今後 nvidia-smi で報告される値と一致し、ユーザーがシステム上のメモリ利用率を正確かつ一貫性のある方法で追跡できるようになります。

モデルのサポートと可用性

この新しいメモリ管理機能は、Ollama の新しいエンジンに実装されているすべてのモデルでデフォルトで有効になっています。サポートされているモデルは以下の通りです：

GPT-OSS: gpt-oss
Llama: llama4, llama3.2-vision ( llama3.2, llama3.1, llama3 がまもなく登場)
Gemma: gemma3, embeddinggemma, gemma3n
Qwen: qwen3, qwen2.5vl ( qwen3-coder がまもなく登場)
Mistral: mistral-small3.2
Embedding Models: all-minilm およびその他の埋め込みモデル