kestra-io/kestra

해결하는 문제

Kestra는 복잡한 데이터, AI, 인프라스트럭처 워크플로우를 관리하는 것을 단순화하기 위해 설계된 오픈소스 오케스트레이션 플랫폼입니다. 스케줄된 작업과 실시간 이벤트 기반 자동화 사이의 분산을 제거하고, 파이프라인을 구축하고 관리하기 위한 통합된 선언형 인터페이스를 제공합니다.

작동 방식

Kestra는 워크플로우(플로우)를 정의하는 선언형 YAML 인터페이스를 사용합니다. 이 플로우는 개별 작업 단위(태스크)로 구성됩니다. 이러한 플로우는 스케줄이나 외부 이벤트에 의해 트리거될 수 있습니다. 플랫폼은 언어에 구애받지 않으며, 풍부한 플러그인 생태계를 통해 Python, Node.js, R, Go, Shell 스크립트를 실행할 수 있습니다.

아키텍처적으로 Kestra 2.0은 gRPC 워커-컨트롤러를 사용하여 컨트롤 플레인과 데이터 플레인을 분리하여 높은 확장성과 다양한 지역 또는 제한된 네트워크에서 워커를 실행할 수 있도록 합니다. 플로우를 구축하는 방법은 YAML 에디터, No-Code 시각적 에디터, AI 코피로트의 세 가지 방식을 지원합니다.

대상 사용자

Kestra는 로컬, Docker, Kubernetes, 클라우드 VM 등 다양한 환경에서 복잡한 파이프라인을 오케스트레이션하고 다양한 클라우드 서비스 및 AI 모델을 통합해야 하는 데이터 엔지니어, DevOps 전문가, AI 개발자들을 위한 플랫폼입니다.

주요 특징

• AI 네이티브 오케스트레이션: AI 에이전트, RAG 워크플로우, AI 에이전트가 도구로 사용할 수 있도록 플로우를 노출하는 MCP 서버를 첫 번째 클래스로 지원합니다.
• AI 지원 구축: 내장된 AI 코피로트와 No-Code 에디터가 백엔드 YAML 코드와 동기화되어 있습니다.
• 인프라스트럭처 as Code: 완전한 Git 버전 관리 통합과 공식 Terraform 프로바이더를 통해 리소스를 관리할 수 있습니다.
• 확장 가능한 플러그인 시스템: 데이터베이스, 클라우드 스토리지, API용 수백 가지 내장 플러그인을 제공하며, 사용자 정의 플러그인 개발도 가능합니다.
• 신뢰성 있는 워크플로우 구성 요소: 체크(사전 조건), 쿼터(실행 제한), 재시도, 조건부 분기와 같은 기능을 통해 파이프라인의 안정성을 보장합니다.