alibaba/GraphScope

해결하는 문제

GraphScope는 단일 머신의 메모리 용량을 초과하는 대규모 그래프 데이터를 처리할 수 있도록 설계된 통합 분산 그래프 계산 플랫폼입니다. 간단한 Python 인터페이스를 통해 인터랙티브 쿼리, 구조적 분석, 머신러닝 등 복잡한 그래프 작업을 통합된 환경에서 수행할 수 있습니다.

작동 방식

GraphScope는 여러 전문적인 알리바바 기술을 하나의 시스템으로 통합합니다:

• 엔진: 분석을 위한 GRAPE, 인터랙티브 쿼리를 위한 MaxGraph, 그래프 신경망(GNN)을 위한 Graph-Learn(GL)을 통합합니다.
• 데이터 관리: 계산 클러스터 간 효율적인 분산 메모리 내 데이터 전송을 위해 Vineyard 스토어를 사용합니다.
• 배포: 작은 작업에는 스탠드얼론 모드로, 대규모 분산 처리에는 Kubernetes(k8s) 클러스터에서 실행할 수 있습니다.
• 인터페이스: 사용자는 Python 클라이언트를 통해 세션을 관리하고, 속성 그래프를 로드하며, 백엔드 엔진에서 작업을 실행할 수 있습니다.

대상 사용자

GraphScope는 거대한 이질적 네트워크(예: 인용 네트워크 또는 소셜 그래프)를 분석하고, 전통적인 그래프 알고리즘과 GNN을 대규모로 적용해야 하는 데이터 과학자 및 연구자에게 적합합니다.

주요 특징

• 통합 플랫폼: Gremlin을 통한 인터랙티브 쿼리, 그래프 분석, GNN 학습을 하나의 장소에서 수행 가능.
• 분산 스케일링: Kubernetes와 분산 메모리 저장소를 활용해 대규모 그래프에 특화된 최적화.
• 고성능: LDBC Social Network Benchmark(SNB) 인터랙티브 워크로드에서 기록적인 처리량 달성.
• 유연한 로딩: OGB 및 SNAP에서 데이터셋을 내장 지원하여 로드 가능.