alibaba/GraphScope

解决的问题

GraphScope 是一个统一的分布式图计算平台，旨在处理超出单台机器内存容量的大规模图数据。它通过简化的 Python 接口，提供一站式环境，支持执行复杂的图操作——包括交互式查询、结构分析和机器学习。

工作原理

GraphScope 将多个阿里巴巴专有技术整合到一个系统中：

• 引擎：结合了用于分析的 GRAPE、用于交互式查询的 MaxGraph，以及用于图神经网络（GNN）的 Graph-Learn (GL)。
• 数据管理：使用 Vineyard 存储实现跨计算集群的高效分布式内存数据传输。
• 部署：可运行在独立模式下处理小型任务，或在 Kubernetes (k8s) 集群上进行大规模分布式处理。
• 接口：用户通过 Python 客户端与系统交互，管理会话、加载属性图，并在后端引擎上执行任务。

适用人群

GraphScope 专为需要分析大规模异构网络（如引用网络或社交图）并大规模应用传统图算法和 GNN 的数据科学家和研究人员设计。

核心亮点

• 统一平台：在同一平台集成交互式查询（通过 Gremlin）、图分析和 GNN 训练。
• 分布式扩展：专为大规模图优化，利用 Kubernetes 和分布式内存存储。
• 高性能：在 LDBC 社交网络基准测试（SNB）交互式工作负载上创下记录性吞吐量。
• 灵活加载：内置支持从 OGB 和 SNAP 加载数据集。