nahrek/polyledger

해결하는 문제

PolyLedger는 Polymarket 시장 메타데이터와 온체인 거래 데이터를 수집하고 정리하기 위해 설계된 재개 가능한 인덱서입니다. Polymarket CLOB 및 Gamma API, 그리고 원시 Polygon 블록체인 로그에서 파편화된 데이터를 수동으로 집계하는 문제를 해결하고, 기록 분석을 위한 통합되고 쿼리 가능한 데이터베이스를 제공합니다.

작동 방식

이 도구는 Envio HyperSync를 통해 Polygon 네트워크에서 OrderFilled 이벤트를 스트리밍하고 CLOB API에서 시장 메타데이터를 가져옵니다. 이러한 데이터 스트림을 처리하여 단일 DuckDB 파일에 기록합니다. 신뢰성을 보장하기 위해 원자적 체크포인트(행과 블록 커서를 하나의 트랜잭션으로 커밋)와 멱등성 쓰기를 사용하여 실행이 중단되고 재시작되는 경우 데이터 중복을 방지합니다.

대상 사용자

복잡한 데이터베이스 서버를 관리하지 않고 Polymarket 거래 및 시장 세부 정보에 대한 구조화되고 SQL 쿼리가 가능한 기록이 필요한 데이터 분석가, 연구원 및 트레이더를 위해 구축되었습니다.

주요 특징

• DuckDB 백엔드: 단일 파일에서 효율적인 스토리지, 압축 및 SQL 조인을 위한 서버리스 컬럼형 데이터베이스를 사용합니다.
• 재개 가능한 동기화: 내장된 체크포인트를 통해 인덱서가 중단 후 정확히 멈춘 위치에서 재개할 수 있습니다.
• 다중 세대 지원: 다양한 컨트랙트 세대의 V1 및 V2 OrderFilled 이벤트 레이아웃을 디코딩합니다.
• 스키마 검증: Pydantic 모델을 사용하여 업스트림 API 변경이 조용한 데이터 손상이 아닌 즉각적인 오류를 트리거하도록 보장합니다.
• 갭 복구: 누락된 토큰 ID를 자동으로 표시하고 Gamma API를 사용하여 백필합니다.
• Parquet 내보내기: pandas, polars 또는 Spark와 같은 도구와 함께 사용할 수 있도록 모든 테이블을 Parquet 파일로 쉽게 내보낼 수 있습니다.