awslabs/data-on-eks

解决的问题

Data on EKS (DoEKS) 简化了在 Amazon EKS 上部署和扩展数据平台的过程。它解决了管理 Kubernetes 生态系统以及为大数据工作负载选择合适配置的复杂性，使用户能够快速构建生产就绪的集群并开展概念验证。

工作原理

DoEKS 提供了一组有明确意见的开源蓝图，集成了各种数据工具、Kubernetes 操作器以及 AWS Data Analytics 管理服务。这些蓝图自动化了分布式数据处理、实时流处理和工作流编排框架的部署。

适用人群

需要在使用 Amazon EKS 的 Kubernetes 上运行可扩展数据工作负载（如 Spark、Flink、Kafka 和 Airflow）的数据工程师和平台架构师。

主要亮点

• 数据处理： Apache Spark、Amazon EMR on EKS 和 Ray 的蓝图。
• 流处理平台： 支持 Apache Flink 和 Apache Kafka（通过 Strimzi）。
• 编排： Apache Airflow 和 Argo Workflows 的部署模式。
• 数据库与查询引擎： 与 Trino、Pinot 和 ClickHouse 的集成。