LazyAGI/LazyLLM

Easiest and laziest way for building multi-agent LLMs applications.

What it solves

LazyLLM 是一款低代码开发工具，旨在简化多代理 LLM 应用的创建。它解决了从原型到可投入生产的应用的工程复杂性，减少开发者需要处理的繁琐任务，如 API 服务构建、IaaS 平台调度，以及推理或微调框架的手动配置。

How it works

LazyLLM 使用基于三大核心概念的模块化架构：

  • Components：最小的执行单元（函数或 bash 命令），可通过 launchers 在不同平台（本地或远程）上运行。
  • Modules：顶层单元，处理特定能力，如训练、部署、推理和评估（例如 TrainableModule 用于本地模型，OnlineChatModule 用于基于 API 的模型）。
  • Flows：预定义的数据流模式（如 Pipeline、Parallel、Diverter、Loop），让开发者像拼“乐高”一样组装模块和组件，定义数据在应用中的流动方式。

Who it’s for

  • Novice Developers：想在不深入了解 Web 开发、Kubernetes 或复杂 ML 基础设施的情况下，构建具生产价值的 AI 工具的开发者。
  • Algorithm Researchers：希望专注于数据和算法迭代，而不是部署和扩展模型的工程负担的专家。

Highlights

  • Low-Code Assembly：使用内置数据流和功能模块，构建复杂的多代理工作流。
  • One-Click Deployment：通过轻量网关简化 POC 阶段，并支持 Kubernetes 打包用于生产发布。
  • Cross-Platform Compatibility：在裸金属、Slurm 集群和公有云之间切换，无需修改代码。
  • Unified Experience：提供统一的接口，在不同在线模型提供商和本地推理/微调框架（如 vLLM、LightLLM）之间切换。
  • Integrated RAG Support：内置文档管理、解析、检索和重新排序等组件。