taketwo/llm-ollama

解决的问题

该项目为 llm 命令行工具提供了一个插件，使用户能够访问并交互运行在本地、远程主机或 Ollama 托管云服务上的 Ollama 服务器所托管的模型。

工作原理

该插件通过 OLLAMA_HOST 环境变量连接到 Ollama 服务器。它会自动发现服务器上可用的模型，并将其注册到 llm 工具中。支持多种交互模式，包括单次提示、交互式聊天会话以及嵌入生成。它还将 Ollama 的 Modelfile 参数映射到 llm 工具的选项标志（-o），允许对模型行为进行微调，例如温度和上下文窗口大小。

适用人群

使用 llm CLI 工具并希望将本地或远程 Ollama 管理的模型集成到工作流中的开发者和 AI 爱好者。

主要亮点

• 多模态支持：支持为具备视觉能力的模型添加图像附件。
• 工具使用：支持向模型传递工具，并包含通过 Ollama API 实现的内置工具，用于网络搜索和网页抓取。
• 结构化输出：通过 JSON 模式与 Ollama 的结构化输出支持集成。
• 异步支持：提供可用于 Python asyncio 库的异步 LLM 模型。
• 灵活连接：支持本地、远程（支持基础认证和自定义头）以及云托管的 Ollama 服务器。