kestra-io/kestra

Event Driven Orchestration & Scheduling Platform for Mission Critical Applications

何を解決するか

Kestraは、複雑なデータ、AI、インフラストラクチャワークフローの管理を簡素化するためのオープンソースのオーケストレーションプラットフォームです。スケジュールされたタスクとリアルタイムのイベント駆動型自動化の間の断片化を解消し、パイプラインの構築と管理に一貫した宣言型インターフェースを提供します。

動作方法

Kestraは、ワークフロー(flows)を定義するための宣言型YAMLインターフェースを使用しています。これらのワークフローは、個々の作業単位(tasks)で構成されています。これらのワークフローはスケジュールまたは外部イベントによってトリガーされます。プラットフォームは言語に依存せず、豊富なプラグインエコシステムを通じてPython、Node.js、R、Go、Shellでのスクリプト実行が可能です。

アーキテクチャ上、Kestra 2.0はgRPCワーカー・コントローラーを使用してコントロールプレーンとデータプレーンを分離しており、高いスケーラビリティを実現し、異なる地域や制限付きネットワークでのワーカーの実行が可能になっています。ワークフローの構築にはYAMLエディタ、No-Codeのビジュアルエディタ、AIコ・ピロットの3つの方法がサポートされています。

対象ユーザー

Kestraは、ローカル、Docker、Kubernetes、クラウドVMなど多様な環境で複雑なパイプラインをオーケストレーションし、さまざまなクラウドサービスやAIモデルと統合する必要があるデータエンジニア、DevOpsプロフェッショナル、AI開発者向けに構築されています。

主な特徴

  • AIネイティブオーケストレーション:AIエージェント、RAGワークフロー、およびAIエージェントがツールとして利用できるようにするMCPサーバーを初めからサポート。
  • AIアシストによる構築:内部にAIコ・ピロットとNo-Codeエディタを備え、下位のYAMLコードと同期しています。
  • インフラストラクチャとしてのコード:完全なGitバージョン管理統合と、リソース管理用の公式Terraformプロバイダーを提供。
  • 拡張可能なプラグインシステム:データベース、クラウドストレージ、API向けの数百の組み込みプラグインがあり、カスタムプラグインの開発も可能。
  • 信頼性の高いワークフローコンポーネント:チェック(事前条件)、クォータ(実行制限)、リトライ、条件分岐などの機能により、パイプラインの安定性を確保。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト