ollama/ollama

Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

What it solves

Ollama 简化了在本地机器上运行开源大语言模型（LLM）的过程。它消除了环境搭建和模型管理的复杂性，使用户能够在不依赖云服务商的情况下与 AI 模型聊天或将其集成到自己的应用中。

How it works

Ollama 提供统一的接口来运行和管理模型。它包括用于快速交互的命令行界面（CLI）、用于编程访问的 REST API，以及官方的 Python 和 JavaScript 库。后端使用 llama.cpp 项目，在本地硬件上完成模型推理。

Who it’s for

Developers：希望使用本地模型构建 AI 驱动应用的开发者。
AI Enthusiasts：想在自己的硬件上私密运行 Gemma 4 等开源模型并进行聊天的 AI 爱好者。
System Administrators：通过 Docker 或包管理器部署本地 AI 能力的系统管理员。

Highlights

Multi-platform support：提供 macOS、Windows、Linux 的原生安装程序，以及 Docker 镜像。
Extensive API：用于管理模型和生成响应的 REST API。
Developer-friendly：官方 Python 与 JS 库，简化集成。
Broad Ecosystem：社区提供的大量集成，从 Web UI、IDE 插件（如 Continue、Cline）到代理框架（如 crewAI、AutoGPT）以及 RAG 引擎。