LazyAGI/LazyLLM

Easiest and laziest way for building multi-agent LLMs applications.

What it solves

LazyLLM 是一款低程式碼開發工具，旨在簡化多代理 LLM 應用的創建。它解決了從原型到可投入生產的應用的工程複雜性，減少開發者需要處理的繁瑣任務，如 API 服務構建、IaaS 平台排程，以及推理或微調框架的手動配置。

How it works

LazyLLM 採用基於三個核心概念的模組化架構：

  • Components：最小的執行單元（函式或 bash 指令），可透過 launchers 在不同平台（本地或遠端）上執行。
  • Modules：頂層單元，處理特定功能，如訓練、部署、推理與評估（例如 TrainableModule 用於本地模型，OnlineChatModule 用於基於 API 的模型）。
  • Flows：預定義的資料流模式（如 Pipeline、Parallel、Diverter、Loop），讓開發者像拼「樂高」般組合模組與元件，定義資料在應用中的流向。

Who it’s for

  • Novice Developers：想在不深入了解 Web 開發、Kubernetes 或複雜 ML 基礎設施的情況下，構建具生產價值的 AI 工具的開發者。
  • Algorithm Researchers：希望專注於資料與演算法迭代，而非部署與擴展模型的工程負擔的專家。

Highlights

  • Low-Code Assembly：使用內建資料流與功能模組，構建複雜的多代理工作流程。
  • One-Click Deployment：透過輕量級閘道簡化 POC 階段，並支援 Kubernetes 打包以供正式上線。
  • Cross-Platform Compatibility：在裸機、Slurm 叢集與公有雲之間切換，無需修改程式碼。
  • Unified Experience：提供一致的介面，在不同線上模型供應商與本地推理/微調框架（如 vLLM、LightLLM）之間切換。
  • Integrated RAG Support：內建文件管理、解析、檢索與重新排序等元件。