kestra-io/kestra

何が解決するか

Kestraは、複雑なデータ、AI、インフラストラクチャワークフローの管理を簡素化するために設計されたオープンソースのオーケストレーションプラットフォームです。統合されたイベント駆動型システムを提供することで、異なる環境と言語間でスケジュールされたタスクとリアルタイムタスクの両方を処理し、断片化された自動化の混乱を解消します。

仕組み

Kestraは、宣言型YAMLインターフェースを使用してワークフロー（「フロー」と呼ばれます）を定義します。これらのフローは、個々の作業単位（タスク）で構成されます。これらのフローはコードとして管理され、Gitによるバージョン管理とCI/CD統合を可能にします。プラットフォームは、ドラッグアンドドロップエディターとライブトポロジービュー（DAG）を備えたビジュアルUIを提供し、これらのパイプラインを構築および視覚化します。

対象ユーザー

データエンジニア、AIエンジニア、DevOpsエンジニアで、特定のプログラミング言語に縛られることなくスクリプトを自動化し、データパイプラインを管理し、マイクロサービスをオーケストレーションする必要がある人向けに構築されています。

ハイライト

• 言語に依存しない: 豊富なプラグインエコシステムを通じて、Python、Node.js、R、Go、Shellなどのスクリプトの実行をサポートします。
• イベント駆動アーキテクチャ: Kafka、Redis、クラウドメッセージングサービスなどの外部システムからのスケジュールまたはリアルタイムイベントに基づいてワークフローをトリガーできます。
• インフラストラクチャとしてのコード: Gitと直接統合し、Terraformプロバイダーを提供してリソースを管理します。
• ビジュアルオーケストレーション: コードエディターとリアルタイムのビジュアルDAGおよびドラッグアンドドロップタスク配置を組み合わせます。
• 高いスケーラビリティ: 高可用性とフォールトトレランスを設計し、何百万ものワークフローを処理できます。