dotnet/spark

해결하는 문제

.NET for Apache Spark를 사용하면 개발자가 빅 데이터 처리에 널리 사용되는 엔진인 Apache Spark의 강력한 기능을 .NET 생태계 내에서 직접 활용할 수 있습니다. 이는 .NET 언어와 Spark 런타임 간의 격차를 해소하여 C# 및 F# 개발자가 Java, Scala 또는 Python으로 전환하지 않고도 대규모 데이터 분석을 수행할 수 있게 합니다.

작동 방식

Apache Spark 엔진을 래핑하는 고성능 API를 제공합니다. 애플리케이션을 실행하면 .NET Worker와 Scala 브리지를 사용하여 Spark 런타임과 통신합니다. Java 가상 머신(JVM)과 .NET 환경 간의 효율적인 데이터 전송을 위해 Apache Arrow와 같은 도구를 활용하여 .NET 코드에서 DataFrame, Spark SQL 및 Structured Streaming을 사용할 수 있습니다.

대상 사용자

이 프로젝트는 C# 또는 F#에 이미 능숙하고 Windows, Linux 또는 macOS와 같은 플랫폼에서 Apache Spark를 사용하여 대규모 데이터 세트나 스트리밍 데이터를 처리해야 하는 데이터 엔지니어 및 소프트웨어 개발자를 위한 것입니다.

주요 기능

• 최신 .NET 버전(.NET 8 포함) 및 Apache Spark 3.x~4.x를 지원합니다.
• 구조화된 데이터 처리를 위해 DataFrame 및 Spark SQL을 사용할 수 있습니다.
• 실시간 데이터 분석을 위한 Structured Streaming을 지원합니다.
• Azure HDInsight, Amazon EMR 및 Databricks와 같은 주요 클라우드 플랫폼에 대한 배포 가이드를 제공합니다.
• 배치 처리 및 Kafka 스트리밍과 같은 일반적인 작업에 대한 네이티브 C# 및 F# 예제를 제공합니다.