ollama/ollama

什麼是 Ollama？

Ollama 是一個用於在本地執行大型語言模型 (LLMs) 的自託管平台。它整合了命令列介面、REST API 以及一系列整合工具，讓您可以：

• 下載並執行開源模型（例如 Gemma 4），並在您自己的機器（macOS、Windows、Linux、Docker）上運行。
• 互動：透過簡單的 ollama run <model> 指令、聊天風格的 REPL，或透過 HTTP 或特定語言的 SDK 以程式方式與這些模型互動。
• 連接：透過提供的整合工具，將本地模型連接到其他工具，例如程式碼助手、AI 聊天機器人、RAG 管線、IDE 擴充功能等。

該專案建立在 llama.cpp（一個快速的純 CPU 推論引擎）之上，並提供用於容器化使用的 Docker 映像檔。

---

為什麼它很重要

• 隱私與控制 – 由於模型在您的硬體上執行，沒有任何資料會離開您的裝置。
• 具成本效益 – 無需雲端 API 費用；您只需要現有的運算資源。
• 開放生態系統 – 不斷成長的社群整合清單（網頁 UI、桌面應用程式、VS Code 擴充功能、RAG 框架等）讓您可以將 Ollama 插入幾乎任何工作流程中。

---

入門指南（快速步驟）

1. 安裝 – 執行平台專屬腳本 (macOS/ Linux) 或 PowerShell 指令 (Windows)。同時也提供 Docker 映像檔。
2. 執行模型 – ollama run gemma4 會啟動 Gemma 4 模型並開啟聊天提示。
3. 使用 API – 發送 POST 請求至 http://localhost:11434/api/chat，並包含含有 model、messages 和選用的 stream 旗標的 JSON 負載。
4. 整合 – 選擇現成的整合工具（例如用於 Claude Code 的 ollama launch claude，或用於多通訊助手 ollama launch openclaw），或在 Python、JavaScript、Rust 等語言中呼叫 SDK。

---

核心功能（如 README 所述）

功能	說明
跨平台二進位檔	適用於 macOS、Windows、Linux 的安裝程式，以及 Docker 映像檔。
CLI	ollama 指令讓您能列出、拉取、執行及管理模型。
REST API	用於聊天、補全、嵌入、模型管理的 HTTP 端點。
模型庫	透過 ollama run <model> 存取公開目錄（例如 Gemma 4）。
整合	針對 Claude Code、Codex、Copilot CLI、OpenClaw 等的預先建置啟動指令。
語言 SDK	官方 Python (ollama-python) 和 JavaScript (ollama-js) 套件；以及許多用於 Go、Rust、.NET、Ruby 等的社群 SDK。
後端	使用 llama.cpp 進行快速 CPU 推論；也可以在支援 GPU 的建置上執行。
廣泛的生態系統	數百個社群專案：網頁 UI、桌面客戶端、VS Code 擴充功能、RAG 框架、代理程式、監控工具和部署腳本。

---

誰應該使用 Ollama？

• 開發者：想要原型設計或發布 AI 功能，而不依賴外部 API 的人。
• 研究人員與愛好者：有興趣在本地實驗開源 LLMs 的人。
• 企業：需要地端 AI 以符合資料隱私或法規要求的人。
• 工具建構者：尋找簡單、統一的後端來驅動聊天介面、程式碼助手或檢索增強生成 (RAG) 管線的人。

---

在哪裡可以找到更多資訊

• 官方文件 – CLI 參考、API 規格、模型匯入指南和開發筆記皆連結自 README。
• 社群 – Discord、X (Twitter)、Reddit，以及長串的第三方整合（網頁 UI、桌面應用程式、IDE 外掛、代理框架等）。
• 原始碼 – 儲存庫包含一個 docs/development.md，用於從原始碼建置 Ollama。

---

總結

Ollama 是一種實用的開源方式，讓您能在自己的硬體上執行 LLMs，提供 CLI、REST API 和豐富的整合生態系統，讓您將本地模型轉變為聊天助手、程式碼助手、RAG 管線等，而無需將資料發送到雲端。