Ollama 官方 Docker 镜像发布

Ollama 现已作为官方 Docker 赞助的开源镜像提供，允许用户在 Docker 容器中本地运行大型语言模型（LLMs），确保私有数据保留在本地机器上，不会发送至第三方服务。

GPU 加速与平台支持

Ollama 提供 CLI 和 REST API 用于应用程序交互，硬件加速支持因平台而异：

在 Linux 上，Ollama 支持在 Docker 容器内使用 Nvidia GPU 进行 GPU 加速。要启用此功能，用户必须在运行容器前安装 Nvidia 容器工具包，并使用 --gpus=all 标志运行容器。

在 macOS 上，用户应将 Ollama 作为独立应用程序运行，而非在 Docker 容器内。这是因为 Docker Desktop 目前不支持 GPU 加速，而 GPU 加速对于实现最佳模型性能是必需的。

Ollama 可通过 Docker 部署，具体配置取决于可用硬件：

要仅使用 CPU 运行 Ollama，请使用以下命令：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

安装 Nvidia 容器工具包后，使用以下命令启用 GPU 加速：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama 容器启动后，用户可使用 docker exec 命令在容器内直接运行模型，例如 Llama 2：

docker exec -it ollama ollama run llama2

更多模型可通过 Ollama 库获取。