kestra: 선언적 YAML을 사용한 데이터 및 AI 워크플로우를 위한 이벤트 기반 오케스트레이션 플랫폼

해결하는 문제

Kestra는 복잡한 데이터, AI 및 인프라 워크플로우의 오케스트레이션을 단순화합니다. 스케줄된 파이프라인과 실시간 이벤트 기반 파이프라인을 모두 처리할 수 있는 단일 플랫폼을 제공함으로써 파편화된 자동화 도구를 관리할 필요성을 없애고, 인프라에 대한 "코드 우선" 접근 방식을 유지합니다.

작동 방식

Kestra는 선언적 YAML 인터페이스를 사용해 "Flows"(워크플로우)를 정의하고, 이 흐름은 "Tasks"(개별 작업)로 구성됩니다. 이러한 흐름은 드래그‑앤‑드롭 UI를 통해 시각적으로 구축하거나, 실시간 검증이 가능한 코드 편집기에서 작성할 수 있습니다. 플랫폼은 언어에 구애받지 않으며, 방대한 플러그인 생태계를 활용해 Python, Node.js, Go, R, Shell 스크립트를 실행하거나 클라우드 서비스(AWS, GCP, Azure) 및 Apache Spark와 같은 빅데이터 도구와 연동합니다.

대상 사용자

데이터 엔지니어, AI 실무자, 그리고 여러 언어와 클라우드 서비스를 통합하면서 오케스트레이션 로직을 버전 관리해야 하는 DevOps 전문가를 위해 설계되었습니다.

주요 특징

• 선언적 YAML: 워크플로우를 코드로 정의하여 버전 관리와 CI/CD 통합을 용이하게 합니다.
• 이벤트 기반 아키텍처: 파일 도착이나 메시지 버스 신호(Kafka, Redis 등)와 같은 실시간 이벤트 또는 스케줄에 따라 흐름을 트리거합니다.
• 언어 무관: 플러그인을 통해 모든 언어의 코드를 실행하고, 작업을 로컬, 원격 서버, Docker/Kubernetes 컨테이너에서 수행할 수 있습니다.
• 시각적 오케스트레이션: 자동 완성 및 구문 강조 기능이 포함된 직관적인 UI를 사용해 DAG(Directed Acyclic Graph) 형태로 워크플로우를 구축하고 시각화합니다.