nahrek/polyledger

解决的问题

PolyLedger 是一个可恢复的索引器，旨在收集和整理 Polymarket 的市场元数据与链上交易数据。它解决了手动从 Polymarket CLOB 和 Gamma API 以及原始 Polygon 区块链日志中聚合分散数据的问题，提供了一个统一且可查询的数据库以进行历史分析。

运作方式

该工具通过 Envio HyperSync 从 Polygon 网络流式传输 OrderFilled 事件，并从 CLOB API 拉取市场元数据。它处理这些数据流并将其写入单个 DuckDB 文件中。为确保可靠性，它使用原子检查点（在同一个事务中提交数据行和区块游标）和幂等写入，以防止在运行中断并重启时产生重复数据。

适用对象

专为数据分析师、研究人员和交易员打造，他们需要 Polymarket 交易和市场详情的结构化、可通过 SQL 查询的历史记录，而无需管理复杂的数据库服务器。

亮点

• DuckDB 后端：使用无服务器列式数据库，在单个文件中实现高效存储、压缩和 SQL 联接。
• 可恢复同步：内置的检查点允许索引器在中断后从停止的地方精确恢复。
• 多世代支持：解码来自不同合约世代的 V1 和 V2 OrderFilled 事件布局。
• 模式验证：采用 Pydantic 模型，确保上游 API 的变更会触发立即报错，而非静默的数据损坏。
• 间隙恢复：自动标记缺失的代币 ID，并使用 Gamma API 进行回填。
• Parquet 导出：允许将所有数据表轻松导出为 Parquet 文件，以便与 pandas、polars 或 Spark 等工具搭配使用。