graphframes/graphframes

解決する課題

GraphFramesは、Apache Sparkエコシステム内におけるスケーラブルなグラフ処理と分析のニーズに対応します。グラフ特有のアルゴリズムと、使い慣れた高性能なDataFrame APIを統合することで、膨大なデータセットに対する複雑なグラフ計算を可能にします。

仕組み

Apache Spark上に構築されており、DataFrameの抽象化を使用してグラフを表現します。ユーザーは、頂点（ノード）用とエッジ（関係）用の2つのDataFrameを提供することでグラフを定義します。この構造により、組み込みの分散アルゴリズム（PageRankや連結成分分解など）を実行したり、PregelやAggregateMessagesといったAPIを使用して独自の処理ロジックを作成したりできます。Spark SQLエンジンを活用しているため、組み込みのパフォーマンス最適化の恩恵を受けつつ、グラフベースの分析と標準的なリレーショナルクエリを組み合わせて使用することが可能です。

対象ユーザー

Java、Scala、またはPythonを使用して、不正検知、ID解決、ソーシャルネットワーク分析、知識グラフ構築などのタスクを実行する必要がある、大規模ネットワークデータを扱うデータエンジニア、データサイエンティスト、開発者向けに設計されています。

ハイライト

• PageRank、連結成分分解、ラベル伝播を含むスケーラブルなグラフアルゴリズム。
• ネットワークデータ内の複雑なパターンをクエリするための強力なmotif finding API。
• PregelおよびAggregateMessagesインターフェースによる柔軟なカスタム処理。
• Apache Spark DataFramesとのシームレスな統合による高性能なデータ操作。
• ノードやエッジ上の豊富なメタデータを保存・分析するためのプロパティグラフモデルのサポート。