awslabs/data-on-eks

해결하는 문제

Data on EKS (DoEKS) 는 Amazon EKS 상에서 데이터 플랫폼을 배포하고 확장하는 것을 간소화합니다. 대규모 데이터 워크로드에 적합한 설정을 선택하고 Kubernetes 생태계를 관리하는 복잡성을 해결하여 사용자가 빠르게 프로덕션 준비된 클러스터를 구축하고 프로토타입 검증을 수행할 수 있도록 합니다.

작동 방식

DoEKS 는 다양한 데이터 도구, Kubernetes 오퍼레이터, AWS Data Analytics 매니지드 서비스를 통합한 의견 기반의 오픈소스 블루프린트 세트를 제공합니다. 이러한 블루프린트는 분산 데이터 처리, 실시간 스트리밍 처리, 워크플로우 오케스트레이션을 위한 프레임워크 배포를 자동화합니다.

대상 사용자

Amazon EKS 를 사용하여 Kubernetes 상에서 Spark, Flink, Kafka, Airflow 등의 스케일링 가능한 데이터 워크로드를 실행해야 하는 데이터 엔지니어 및 플랫폼 아키텍트.

주요 특징

• 데이터 처리: Apache Spark, Amazon EMR on EKS, Ray 용 블루프린트.
• 스트리밍 플랫폼: Apache Flink 및 Apache Kafka (Strimzi 를 통해) 지원.
• 오케스트레이션: Apache Airflow 및 Argo Workflows 용 배포 패턴.
• 데이터베이스 및 쿼리 엔진: Trino, Pinot, ClickHouse 와의 통합.