zmedelis/bosquet

Tooling to build LLM applications: prompt templating and composition, agents, LLM memory, and other instruments for builders of AI applications.

What it solves

Bosquet 簡化了複雜 AI 應用的開發，提供一個結構化框架來管理提示模板、LLM 上下文窗口以及與外部工具和 API 的代理互動。

How it works

Bosquet 作為 LLMOps 層，整合了多個關鍵組件：

  • Prompt Management：使用 Selmer 模板庫處理動態提示的生成。
  • Execution Graph：採用 Pathom 圖形處理機制，實現提示的鏈接與組合。
  • Agentic Tools：提供抽象層，讓 LLM（如 OpenAI 與 Ollama）能呼叫工具以存取外部資料或執行計算。
  • Service Management：處理 LLM 服務配置、API 金鑰與回應快取，以優化效能與成本。
  • Memory Handling：管理 LLM 記憶體，繞過有限的上下文窗口限制。

Who it’s for

開發非平凡 AI 應用的開發者，需要組織複雜的提示工作流程、整合外部工具，並管理 LLM 互動的生命週期。

Highlights

  • Prompt Chaining：能夠組合多個提示，將前一個的輸出作為下一個的輸入。
  • Tool Integration：內建支援為 OpenAI 與 Ollama 模型定義與執行工具。
  • Flexible Templating：結合 Selmer，提供高階提示模板功能。
  • CLI Support：包含命令列介面，用於測試提示與管理 LLM 設定。