awslabs/data-on-eks

何を解決するか

Data on EKS (DoEKS) は、Amazon EKS 上でのデータプラットフォームのデプロイとスケーリングを簡素化します。Kubernetes エコシステムの管理や、ビッグデータワークロードに適した設定の選定という複雑さに対処し、ユーザーが迅速に本番環境対応のクラスタを構築し、プロトタイプ検証を実施できるようにします。

仕組み

DoEKS は、さまざまなデータツール、Kubernetes オペレーター、AWS Data Analytics のマネージドサービスを統合した、意見に基づいたオープンソースのブループリントを提供します。これらのブループリントは、分散データ処理、リアルタイムストリーミング処理、ワークフローのオーケストレーションのためのフレームワークのデプロイを自動化します。

対象ユーザー

Amazon EKS を使用して Kubernetes 上でスケーラブルなデータワークロード（Spark、Flink、Kafka、Airflow など）を実行する必要があるデータエンジニアやプラットフォームアーキテクト。

主な特徴

• データ処理: Apache Spark、Amazon EMR on EKS、Ray 用のブループリント。
• ストリーミングプラットフォーム: Apache Flink および Apache Kafka（Strimzi を通じて）のサポート。
• オーケストレーション: Apache Airflow および Argo Workflows 用のデプロイパターン。
• データベース & クエリエンジン: Trino、Pinot、ClickHouse との統合。