Ollama 官方 Docker 映像發行

Ollama 現已作為官方支援的開源 Docker 映像推出，讓使用者能在 Docker 容器中本地執行大型語言模型（LLMs），確保私人資料留在本地機器上，不會傳送至第三方服務。

GPU 加速與平台支援

Ollama 提供 CLI 和 REST API 供應用程式互動，硬體加速支援因平台而異：

在 Linux 上，Ollama 支援在 Docker 容器內針對 Nvidia GPU 進行 GPU 加速。要啟用此功能，使用者必須在使用 --gpus=all 標記執行容器前，先安裝 Nvidia 容器工具包。

在 macOS 上，使用者應將 Ollama 作為獨立應用程式執行，而非在 Docker 容器內。這是因為目前 Docker Desktop 不支援 GPU 加速，而 GPU 加速對於最佳模型效能至關重要。

Ollama 可透過 Docker 根據可用硬體使用不同設定進行部署：

若要僅使用 CPU 執行 Ollama，請使用以下命令：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

安裝 Nvidia 容器工具包後，使用以下命令啟用 GPU 加速：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama 容器啟動後，使用者可使用 docker exec 命令直接在容器內執行模型，例如 Llama 2：

docker exec -it ollama ollama run llama2

更多模型可透過 Ollama 庫取得。