nahrek/polyledger

解決的問題

PolyLedger 是一個可恢復的索引器，旨在收集和整理 Polymarket 的市場元數據與鏈上交易數據。它解決了手動從 Polymarket CLOB 和 Gamma API 以及原始 Polygon 區塊鏈日誌中聚合分散數據的問題，提供了一個統一且可查詢的資料庫以進行歷史分析。

運作方式

該工具透過 Envio HyperSync 從 Polygon 網路串流 OrderFilled 事件，並從 CLOB API 拉取市場元數據。它處理這些數據流並將其寫入單一的 DuckDB 檔案中。為確保可靠性，它使用原子檢查點（在同一個交易中提交資料列和區塊游標）和冪等寫入，以防止在運行中斷並重啟時產生重複數據。

適用對象

專為數據分析師、研究人員和交易員打造，他們需要 Polymarket 交易和市場詳情的結構化、可透過 SQL 查詢的歷史記錄，而無需管理複雜的資料庫伺服器。

亮點

• DuckDB 後端：使用無伺服器欄列式資料庫，在單一檔案中實現高效儲存、壓縮和 SQL 聯結。
• 可恢復同步：內建的檢查點允許索引器在中斷後從停止的地方精確恢復。
• 多世代支援：解碼來自不同合約世代的 V1 和 V2 OrderFilled 事件佈局。
• 結構描述驗證：採用 Pydantic 模型，確保上游 API 的變更會觸發立即錯誤，而非默默的數據損壞。
• 間隙恢復：自動標記缺失的代幣 ID，並使用 Gamma API 進行回填。
• Parquet 匯出：允許將所有資料表輕鬆匯出為 Parquet 檔案，以便與 pandas、polars 或 Spark 等工具搭配使用。