dotnet/spark

解決する問題

.NET for Apache Spark を使用すると、開発者はビッグデータ処理で人気のエンジンである Apache Spark のパワーを .NET エコシステム内で直接利用できます。これは .NET 言語と Spark ランタイムの間のギャップを埋め、C# および F# 開発者が Java、Scala、Python に切り替えることなく大規模なデータ分析を実行できるようにします。

仕組み

Apache Spark エンジンのラッパーとして機能する高性能 API を提供します。アプリケーションを実行すると、.NET Worker と Scala ブリッジを使用して Spark ランタイムと通信します。Java 仮想マシン（JVM）と .NET 環境間の効率的なデータ転送には Apache Arrow などのツールを活用し、.NET コードで DataFrame、Spark SQL、Structured Streaming を使用できます。

対象者

このプロジェクトは、C# または F# にすでに精通しており、Windows、Linux、macOS などのプラットフォームで Apache Spark を使用して大規模なデータセットやストリーミングデータを処理する必要があるデータエンジニアおよびソフトウェア開発者を対象としています。

ハイライト

• 最新の .NET バージョン（.NET 8 を含む）および Apache Spark 3.x から 4.x をサポート。
• 構造化データ処理のための DataFrame と Spark SQL の使用を可能にします。
• リアルタイムデータ分析のための Structured Streaming をサポート。
• Azure HDInsight、Amazon EMR、Databricks などの主要なクラウドプラットフォーム向けのデプロイガイドを提供。
• バッチ処理や Kafka ストリーミングなどの一般的なタスク向けのネイティブ C# および F# の例を提供。