alibaba/GraphScope

何を解決するか

GraphScopeは、単一のマシンのメモリ容量を超える大規模なグラフデータを処理できる統合分散グラフ計算プラットフォームです。シンプルなPythonインターフェースを通じて、インタラクティブなクエリ、構造的分析、機械学習などの複雑なグラフ操作をワンストップで実行できる環境を提供します。

動作方法

GraphScopeは、いくつかの専門的なアリババ技術を1つのシステムに統合しています：

• エンジン：GRAPE（分析用）、MaxGraph（インタラクティブクエリ用）、Graph-Learn (GL)（グラフニューラルネットワーク（GNN）用）を統合しています。
• データ管理：計算クラスタ間での効率的な分散メモリ内データ転送に、Vineyardストアを使用しています。
• デプロイ：小規模なタスクにはスタンドアロンモードで実行可能、大規模な分散処理にはKubernetes（k8s）クラスタで実行可能です。
• インターフェース：Pythonクライアントを通じて、セッションの管理、プロパティグラフの読み込み、バックエンドエンジンでのタスク実行が行えます。

対象ユーザー

GraphScopeは、巨大な異種ネットワーク（例：引用ネットワークやソーシャルグラフ）を分析し、従来のグラフアルゴリズムとGNNを大規模に適用したいデータサイエンティストや研究者向けに設計されています。

特徴

• 統合プラットフォーム：Gremlinを介したインタラクティブクエリ、グラフ分析、GNNトレーニングを1つの場所で実行可能。
• 分散スケーラビリティ：Kubernetesと分散メモリストレージを活用し、大規模グラフに特化して最適化されています。
• 高パフォーマンス：LDBC Social Network Benchmark (SNB) のインタラクティブワークロードで記録的なスループットを達成。
• 柔軟なロード：OGBやSNAPからのデータセットの読み込みを内蔵サポートしています。