julep-ai/julep

解決的問題

Julep 解決了使用臨時循環（ad-hoc loops）構建的 AI Agent 的脆弱性問題，這些 Agent 通常會出現崩潰、缺乏透明度且在生產環境中難以管理。它提供了一個框架，將 Agent 構建為持久且可組合的數據流，使其能夠安全地重試、在崩潰後恢復，並為每個執行步驟提供清晰的解釋。

工作原理

Julep 不使用運行時循環，而是採用「透過構建進行定義（define-by-construction）」的方法，在 Python 中將 Agent 編寫為 @flow 函數。這些流被編譯成凍結的線纜格式中間表示（IR），用於描述步驟圖。

核心組件包括：

• Registered Tools and Pures: Agent 可以調用的顯式定義的函數。
• Reasoners: 由 LLM 驅動的組件，用於處理提示詞並返回結構化數據。
• Durable Execution: 可選的 Temporal 層允許流持久化狀態，使其能夠在崩潰後從中斷處準確恢復。
• Control Plane: 自託管的 FastAPI 控制平面，用於管理部署、金鑰庫和 MCP (Model Context Protocol) 安全檢查。
• CLI: 用於發現、linting、測試並將 Agent 作為模組進行部署的終端原生工具集。

適用對象

構建生產級 AI Agent 的開發者，他們需要高可靠性、嚴格的工具訪問控制，以及審計和追蹤複雜 Agent 工作流的能力。

亮點

• Durable Dataflows: 工作流可以在不丟失進度的情況下發生崩潰並恢復。
• Frozen IR: 將 Python 定義編譯成穩定的格式，以防止運行時漂移。
• MCP Integration: 支持 Model Context Protocol，透過快照支持的安全性進行工具引用和預檢。
• Production-Ready Tooling: 包括用於圖形視覺化、linting 以及部署到 staging 或 production 環境的 CLI。
• Secure Secret Management: 具有只寫操作員庫和用於敏感憑據的加密 Temporal 負載。