simonw/llm

它解决了什么问题

LLM 提供了一个统一的命令行界面（CLI）和 Python 库，用于与各种大型语言模型（LLM）进行交互。它消除了为远程模型（如 OpenAI、Claude、Gemini）和本地模型（如通过 Ollama 运行的模型）使用多个不同 API 或单独工具的需要，允许用户在一个地方管理提示、密钥和响应。

它的工作原理

该工具充当各种 LLM 提供者的包装器。它使用插件系统来扩展对不同模型的支持，允许用户为特定 API 或本地运行器安装插件。它安全地管理 API 密钥，并可以将提示和响应存储在本地 SQLite 数据库中用于日志记录。它还支持高级功能，如通过模式进行结构化数据提取、工具执行和嵌入生成。

适用人群

适用于希望直接从终端与 LLM 交互、通过 shell 脚本自动化 LLM 任务，或将 LLM 功能集成到 Python 应用程序中而无需编写样板 API 代码的开发人员、数据科学家和高级用户。

亮点

• 多模型支持：支持 OpenAI、Anthropic、Google、Mistral，以及通过 Ollama 或其他兼容 OpenAI 的端点运行的本地模型。
• 本地日志记录：自动将提示和响应存储在 SQLite 中。
• 结构化输出：支持使用模式从文本和图像中提取结构化内容。
• 可扩展：强大的插件架构，用于添加新模型、工具和嵌入模型。
• 多模态能力：能够对图像、音频和视频运行提示。
• 工具使用：赋予模型直接在终端中执行工具的能力。