taketwo/llm-ollama

解決的問題

本專案提供 llm 命令列工具的外掛程式，讓使用者能存取並與在本地、遠端主機或 Ollama 托管雲端服務上執行的 Ollama 伺服器所托管的模型進行互動。

作用方式

此外掛程式透過 OLLAMA_HOST 環境變數連接到 Ollama 伺服器。它會自動偵測伺服器上可用的模型，並註冊至 llm 工具。支援多種互動模式，包括單次提示、互動式對話會話，以及嵌入生成。同時，將 Ollama 的 Modelfile 參數對應至 llm 工具的選項旗標（-o），讓使用者能細調模型行為，例如溫度與上下文視窗大小。

適用對象

使用 llm CLI 工具，並希望將本地或遠端 Ollama 管理的模型整合至工作流程中的開發者與 AI 愛好者。

主要特色

• 多模態支援：支援為具備視覺能力的模型附加圖片。
• 工具使用：支援將工具傳遞給模型，並內建透過 Ollama API 實作的網路搜尋與網頁擷取工具。
• 結構化輸出：透過 JSON 模式與 Ollama 的結構化輸出支援整合。
• 非同步支援：提供可與 Python 的 asyncio 套件搭配使用的非同步 LLM 模型。
• 彈性連線：支援本地、遠端（支援基本驗證與自訂標頭），以及雲端託管的 Ollama 伺服器。