ollama/ollama

什么是 Ollama？

Ollama 是一个用于在本地运行大型语言模型 (LLMs) 的自托管平台。它整合了命令行界面、REST API 以及一系列集成工具，让您可以：

• 下载并运行开源模型（例如 Gemma 4），并在您自己的机器（macOS、Windows、Linux、Docker）上运行。
• 交互：通过简单的 ollama run <model> 指令、聊天风格的 REPL，或通过 HTTP 或特定语言的 SDK 以程序方式与这些模型交互。
• 连接：通过提供的集成工具，将本地模型连接到其他工具，例如代码助手、AI 聊天机器人、RAG 管线、IDE 扩展等。

该项目建立在 llama.cpp（一个快速的纯 CPU 推理引擎）之上，并提供用于容器化使用的 Docker 镜像。

---

为什么它很重要

• 隐私与控制 – 由于模型在您的硬件上运行，没有任何数据会离开您的设备。
• 具成本效益 – 无需云端 API 费用；您只需要现有的计算资源。
• 开放生态系统 – 不断成长的社区集成列表（网页 UI、桌面应用程序、VS Code 扩展、RAG 框架等）让您可以将 Ollama 插入几乎任何工作流程中。

---

入门指南（快速步骤）

1. 安装 – 运行平台专属脚本 (macOS/ Linux) 或 PowerShell 指令 (Windows)。同时也提供 Docker 镜像。
2. 运行模型 – ollama run gemma4 会启动 Gemma 4 模型并开启聊天提示。
3. 使用 API – 发送 POST 请求至 http://localhost:11434/api/chat，并包含含有 model、messages 和选用的 stream 标志的 JSON 负载。
4. 集成 – 选择现成的集成工具（例如用于 Claude Code 的 ollama launch claude，或用于多通讯助手 ollama launch openclaw），或在 Python、JavaScript、Rust 等语言中调用 SDK。

---

核心功能（如 README 所述）

功能	说明
跨平台二进制文件	适用于 macOS、Windows、Linux 的安装程序，以及 Docker 镜像。
CLI	ollama 指令让您能列出、拉取、运行及管理模型。
REST API	用于聊天、补全、嵌入、模型管理的 HTTP 端点。
模型库	通过 ollama run <model> 访问公开目录（例如 Gemma 4）。
集成	针对 Claude Code、Codex、Copilot CLI、OpenClaw 等的预先构建启动指令。
语言 SDK	官方 Python (ollama-python) 和 JavaScript (ollama-js) 包；以及许多用于 Go、Rust、.NET、Ruby 等的社区 SDK。
后端	使用 llama.cpp 进行快速 CPU 推理；也可以在支持 GPU 的构建上运行。
广泛的生态系统	数百个社区项目：网页 UI、桌面客户端、VS Code 扩展、RAG 框架、代理程序、监控工具和部署脚本。

---

谁应该使用 Ollama？

• 开发者：想要原型设计或发布 AI 功能，而不依赖外部 API 的人。
• 研究人员与爱好者：有兴趣在本地实验开源 LLMs 的人。
• 企业：需要本地 AI 以符合数据隐私或法规要求的人。
• 工具构建者：寻找简单、统一的后端来驱动聊天界面、代码助手或检索增强生成 (RAG) 管线的人。

---

在哪里可以找到更多信息

• 官方文档 – CLI 参考、API 规范、模型导入指南和开发笔记皆链接自 README。
• 社区 – Discord、X (Twitter)、Reddit，以及长串的第三方集成（网页 UI、桌面应用程序、IDE 插件、代理框架等）。
• 源代码 – 仓库包含一个 docs/development.md，用于从源代码构建 Ollama。

---

总结

Ollama 是一种实用的开源方式，让您能在自己的硬件上运行 LLMs，提供 CLI、REST API 和丰富的集成生态系统，让您将本地模型转变为聊天助手、代码助手、RAG 管线等，而无需将数据发送到云端。