Ollama 公式 Docker イメージのリリース

Ollama は、公式の Docker スポンサード・オープンソース・イメージとして利用可能になりました。これにより、ユーザーは Docker コンテナ内で大規模言語モデル (LLM) をローカルに実行でき、プライベートなデータがサードパーティ・サービスに送信されることなく、ローカルマシンに留まることを保証できます。

GPU 加速とプラットフォームのサポート

Ollama は、アプリケーションとの対話のための CLI と REST API を提供しており、ハードウェア加速のサポートはプラットフォームによって異なります：

Linux

Linux では、Ollama は Docker コンテナ内での GPU 加速を、特に Nvidia GPU に対してサポートしています。これを有効にするには、ユーザーはコンテナを実行する前に Nvidia container toolkit をインストールし、--gpus=all フラグを使用してコンテナを実行する必要があります。

macOS

macOS では、ユーザーは Docker コンテナの外でスタンドアロン・アプリケーションとして Ollama を実行する必要があります。これは、Docker Desktop が現在 GPU 加速をサポートしていないためであり、最適なモデル・パフォーマンスには GPU 加速が必要です。

デプロイメントと設定

Ollama は、利用可能なハードウェアに基づいて異なる設定を使用して、Docker 経由でデプロイできます：

CPU のみのデプロイメント

CPU のみを使用して Ollama を実行するには、次のコマンドを使用してください：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU のデプロイメント

Nvidia container toolkit をインストールした後、次のコマンドを使用して GPU 加速を有効にします：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

コンテナ内でモデルを実行する

Ollama コンテナがアクティブになったら、ユーザーは docker exec コマンドを使用して、コンテナ内で直接 Llama 2 などのモデルを実行できます：

docker exec -it ollama ollama run llama2

追加のモデルは Ollama ライブラリ経由で利用可能です。