ollama/ollama

Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

What it solves

Ollama 簡化了在本機上執行開源大型語言模型（LLM）的流程。它消除環境設定與模型管理的複雜度，讓使用者不必依賴雲端服務提供者，即可與 AI 模型聊天或將其整合到自己的應用程式中。

How it works

Ollama 提供統一的介面來執行與管理模型。它包含用於快速互動的指令列介面（CLI）、用於程式化存取的 REST API，以及官方的 Python 與 JavaScript 函式庫。後端使用 llama.cpp 專案，在本機硬體上執行模型推論。

Who it’s for

Developers：想使用本機模型建構 AI 驅動應用的開發者。
AI Enthusiasts：希望在自己的硬體上私密執行 Gemma 4 等開源模型並與之聊天的 AI 愛好者。
System Administrators：透過 Docker 或套件管理員部署本機 AI 能力的系統管理員。

Highlights

Multi-platform support：提供 macOS、Windows、Linux 的原生安裝程式，以及 Docker 映像檔。
Extensive API：用於管理模型與產生回應的 REST API。
Developer-friendly：官方 Python 與 JS 函式庫，簡化整合流程。
Broad Ecosystem：社群提供的大量整合，從 Web UI、IDE 擴充套件（如 Continue、Cline）到代理框架（如 crewAI、AutoGPT）以及 RAG 引擎。