julep-ai/julep

解決的問題

Julep 解決了使用臨時循環（ad-hoc loops）構建的 AI Agent 的脆弱性問題，這些 Agent 經常發生崩潰或靜默失敗。它提供了一個框架，用於創建持久、可組合的 AI Agent，這些 Agent 可以崩潰並恢復、安全地重試操作，並對執行過程中的每一步提供清晰的解釋。

工作原理

Julep 不使用簡單的循環，而是將 Agent 邏輯視為可組合的數據流。開發人員使用 Python 中的 @flow 裝飾器來定義這些邏輯，邏輯會被編譯成凍結的線纜格式中間表示 (IR)。這使得系統能夠追蹤狀態和進度。

核心組件包括：

• Reasoners: 定義好的 LLM 配置（模型、系統提示詞、輸出 Schema）。
• Tools and Pures: Agent 可以調用的已註冊函數，「pures」指確定性邏輯。
• Durable Execution: 透過與 Temporal 或 DBOS 的可選集成，允許 Flow 持久化其狀態，使其能夠在發生故障後從中斷處恢復。
• MCP Integration: 支援 Model Context Protocol (MCP)，用於標準化的工具交互和安全性檢查。
• Control Plane: 用於在不同環境中管理、部署和追蹤 Agent 的 CLI 和伺服器。

適用對象

專為構建生產級 AI Agent 的開發人員設計，這些開發人員需要可靠性、嚴格的工具存取控制，以及審計或追蹤複雜多步 Agent 工作流的能力。

亮點

• Durable State: Flow 可以在不丟失進度的情況下崩潰並恢復。
• Safe Retries: 內置對工具調用進行重試和超時處理的支援。
• Strict Tooling: Agent 被禁止調用任何未透過凍結表面（frozen surface）明確允許調用的工具。
• Developer Tooling: 用於列出、執行、linting、測試和部署 Agent 的終端原生 CLI。
• Deployment Pipeline: 支援不可變的 S3 制品發佈以及透過 Helm 進行的基於 Kubernetes 的協調。