maze-agent/Maze

A distributed framework for LLM agents

What it solves

Maze 是一個分散式框架,旨在管理與擴展 LLM 代理工作流程。它透過提供結構化的方式將任務分配到工作節點叢集,解決資源爭用、任務平行化與大型代理系統的可靠性問題。

How it works

Maze 採用基於 Ray 的主從架構。開發者可以將工作流程定義為一系列任務(靜態或動態)或 ReAct 風格的代理迴圈。框架使用 FCFS、HACS 等演算法進行任務排程,並負責 CPU、GPU、I/O 等資源的分配,以避免瓶頸。它還提供內容位址的 Artifact Store,用於在分散節點間管理檔案,無需共享檔案系統。

Who it’s for

此框架適合開發需要分散執行、細粒度資源管理與高可靠性的複雜多代理系統或高效能代理工作流程的開發者。

Highlights

  • Distributed Execution: 支援單機或叢集部署,具自動工作者恢復與容錯機制。
  • Task-Level Management: 提供任務平行度、重試與逾時的細緻控制。
  • Heterogeneous Scheduling: 為 GPU、CPU、I/O 任務實作專屬排程佇列,以提升吞吐量。
  • ReAct Workflow Support: 內建 ReAct 代理模板,支援工具呼叫、MCP 伺服器與代理追蹤。
  • Observability: 提供統一的 Maze Playground 控制台,可拖放式建構工作流程、檢視執行歷史與叢集診斷。
  • Backend Compatibility: 可作為其他框架(如 LangGraph)的執行後端。