alibaba/GraphScope

解決的問題

GraphScope 是一個統一的分散式圖計算平台，專為處理超出單一機器記憶體容量的大規模圖資料而設計。它提供一站式環境，透過簡化的 Python 接口，支援執行複雜的圖運算——包括互動式查詢、結構分析與機器學習。

工作原理

GraphScope 將多項阿里巴巴專屬技術整合至單一系統中：

• 引擎：結合用於分析的 GRAPE、用於互動式查詢的 MaxGraph，以及用於圖神經網絡（GNN）的 Graph-Learn (GL)。
• 資料管理：使用 Vineyard 儲存，實現跨計算叢集的高效分散式記憶體資料傳輸。
• 部署：可於獨立模式下執行小型任務，或於 Kubernetes (k8s) 叢集上進行大規模分散式處理。
• 介面：使用者透過 Python 客戶端與系統互動，管理會話、載入屬性圖，並在後端引擎上執行任務。

適用對象

GraphScope 專為需要分析大型異質網路（如引用網路或社交圖）並大規模應用傳統圖演算法與 GNN 的資料科學家與研究人員所設計。

核心亮點

• 統一平台：在同一平台整合互動式查詢（透過 Gremlin）、圖分析與 GNN 訓練。
• 分散式擴展：專為大規模圖優化，利用 Kubernetes 與分散式記憶體儲存。
• 高效率：在 LDBC 社交網路基準測試（SNB）互動式工作負載上創下紀錄性吞吐量。
• 彈性載入：內建支援從 OGB 與 SNAP 載入資料集。