taketwo/llm-ollama

解决的问题

该项目为 llm 命令行工具提供了一个插件，使用户能够轻松访问并交互运行在 Ollama 服务器上的模型——无论该服务器是本地部署、远程机器上，还是通过 Ollama 的托管云服务。

工作原理

该插件通过 OLLAMA_HOST 连接到 Ollama 服务器，并自动发现所有可用模型。它将这些模型注册到 llm 工具中，使其可用于提示、聊天和生成嵌入。支持多种连接方式，包括基本认证和反向代理的自定义头。

适用人群

使用 llm CLI 工具并希望将本地或远程 Ollama 管理的模型集成到工作流中的开发者和 AI 爱好者。

主要亮点

• 多模态支持：支持为具备视觉能力的模型添加图像附件。
• 工具使用：通过 Ollama 云 API 支持 LLM 工具，包括内置的网络搜索和 fetch 工具。
• 推理追踪：展示“思考”模型的推理步骤，支持隐藏或禁用。
• 结构化输出：通过 JSON 模式与 Ollama 的结构化输出支持集成。
• 异步支持：提供可用于 Python asyncio 的异步 LLM 模型。
• 灵活配置：支持 Modelfile 参数作为选项，并自动处理模型别名。