simonw/llm

解决的问题

LLM 提供了一个统一的命令行界面 (CLI) 和 Python 库，用于与各种大语言模型 (LLM) 进行交互。它消除了为远程模型（如 OpenAI、Claude 和 Gemini）和本地模型（如通过 Ollama 运行的模型）使用多种不同 API 或单独工具的需要，允许用户在一个地方管理提示词、密钥和响应。

工作原理

该工具充当各种 LLM 提供商的封装器。用户可以安装插件以添加对不同模型的支持，通过内置的密钥存储管理 API 密钥，并直接从终端执行提示词。它使用 SQLite 记录提示词和响应，提供持久的交互历史。它还支持高级功能，如使用模式进行结构化数据提取、工具执行以及嵌入（embeddings）的生成和存储。

适用对象

想要从终端与多个 AI 模型进行交互的开发人员、数据科学家和高级用户，想要通过 Shell 脚本自动执行 LLM 任务，或者希望在不编写样板 API 代码的情况下将 LLM 能力集成到 Python 应用程序中的用户。

亮点

• 多模型支持：通过插件支持 OpenAI、Anthropic、Google、Mistral 和本地模型。
• llm chat：用于连续对话的交互式聊天模式。
• SQLite 日志记录：自动存储提示词和响应以便后续检索。
• 结构化提取：使用模式从文本和图像中提取结构化内容。
• 嵌入支持：用于生成和存储用于相似性搜索的嵌入的工具。
• 可扩展性：插件系统允许添加新模型、工具和模板加载器。