zmedelis/bosquet

Tooling to build LLM applications: prompt templating and composition, agents, LLM memory, and other instruments for builders of AI applications.

What it solves

Bosquet 简化了复杂 AI 应用的开发，提供一个结构化框架来管理提示模板、LLM 上下文窗口以及与外部工具和 API 的代理交互。

How it works

Bosquet 作为 LLMOps 层，整合了多个关键组件：

  • Prompt Management：使用 Selmer 模板库处理动态提示的创建。
  • Execution Graph：采用 Pathom 图处理引擎，实现提示的链式和组合。
  • Agentic Tools：提供抽象层，让 LLM（如 OpenAI 与 Ollama）能够调用工具以访问外部数据或执行计算。
  • Service Management：处理 LLM 服务配置、API 密钥和响应缓存，以优化性能和成本。
  • Memory Handling：管理 LLM 记忆，绕过有限的上下文窗口限制。

Who it’s for

开发非平凡 AI 应用的开发者，需要组织复杂的提示工作流、集成外部工具，并管理 LLM 交互的生命周期。

Highlights

  • Prompt Chaining：能够组合多个提示，将前一个的输出作为下一个的输入。
  • Tool Integration：内置支持为 OpenAI 与 Ollama 模型定义和执行工具。
  • Flexible Templating：结合 Selmer，提供高级提示模板功能。
  • CLI Support：包含命令行界面，用于测试提示和管理 LLM 设置。