kestra-io/kestra

解决的问题

Kestra 是一个开源的编排平台，旨在简化复杂数据、AI 和基础设施工作流的管理。它通过提供统一的声明式接口来消除计划任务与实时事件驱动自动化之间的碎片化，从而实现对管道的构建和管理。

如何工作

Kestra 使用声明式 YAML 接口来定义工作流（flows），这些工作流由单个任务单元（tasks）组成。这些工作流可以由计划或外部事件触发。该平台与语言无关，通过丰富的插件生态系统支持在 Python、Node.js、R、Go 和 Shell 中运行脚本。

在架构上，Kestra 2.0 使用 gRPC 工作器-控制器将控制平面与数据平面分离，实现了高可扩展性，并支持在不同区域或受限网络中运行工作器。它支持多种构建工作流的方式：YAML 编辑器、无代码可视化编辑器，以及 AI 协作助手（Copilot）。

适用人群

Kestra 专为需要在本地、Docker、Kubernetes 或云虚拟机等不同环境中编排复杂管道，并集成各种云服务和 AI 模型的数据工程师、DevOps 专业人员和 AI 开发者而设计。

主要亮点

• AI 原生编排：原生支持 AI Agent、RAG 工作流，以及 MCP 服务器，可将工作流作为工具暴露给 AI Agent 使用。
• AI 辅助构建：内置 AI 协作助手和无代码编辑器，与底层 YAML 代码保持同步。
• 基础设施即代码：完全集成 Git 版本控制，并提供官方 Terraform 提供者以管理资源。
• 可扩展的插件系统：提供数百个内置插件，支持数据库、云存储和 API，同时支持自定义插件开发。
• 健壮的工作流组件：支持检查（前置条件）、配额（执行限制）、重试和条件分支，确保管道稳定性。