awslabs/data-on-eks

解決的問題

Data on EKS (DoEKS) 簡化了在 Amazon EKS 上部署和擴展數據平台的過程。它解決了管理 Kubernetes 生態系統以及為大數據工作負載選擇合適設定的複雜性，使使用者能快速建構生產就緒的叢集並進行概念驗證。

工作原理

DoEKS 提供一組具明確意見的開源藍圖，整合了各種數據工具、Kubernetes 操作器以及 AWS Data Analytics 管理服務。這些藍圖自動化了分散式數據處理、即時串流處理和工作流程編排框架的部署。

適用對象

需要在使用 Amazon EKS 的 Kubernetes 上執行可擴展數據工作負載（如 Spark、Flink、Kafka 和 Airflow）的資料工程師與平台架構師。

主要亮點

• 資料處理： Apache Spark、Amazon EMR on EKS 和 Ray 的藍圖。
• 串流處理平台： 支援 Apache Flink 和 Apache Kafka（透過 Strimzi）。
• 編排： Apache Airflow 和 Argo Workflows 的部署模式。
• 資料庫與查詢引擎： 與 Trino、Pinot 和 ClickHouse 的整合。