0xSero/ai-data-extraction

解決的問題

它提供了一種從各種 AI 程式設計助手提取完整對話歷史、程式碼上下文和工具使用資料的方法。這讓開發者和研究人員能夠收集高品質、真實世界的互動資料，用於機器學習訓練和微調。

工作原理

該工具包由一系列針對特定 AI 工具（如 Cursor、Claude Code、Windsurf 和 Gemini CLI）的 Python 腳本組成。這些腳本會自動檢測作業系統，搜尋常見的安裝與儲存路徑，並解析多種格式的資料，包括 SQLite 資料庫和 JSONL 檔案。提取的資料會被標準化為包含使用者訊息、AI 回應、程式碼片段和建議差異的時間戳記 JSONL 格式。

適用對象

此工具包專為希望從自身 AI 程式設計互動中建立訓練資料集的機器學習工程師和研究人員設計，也適合希望歸檔其 AI 協助開發歷史的使用者。

主要特色

• 廣泛的工具支援：支援從 Cursor、Claude Code、Codex、Trae、Windsurf、Continue、Gemini CLI 和 OpenCode 提取資料。
• 深度上下文提取：不僅捕獲文字，還包含檔案路徑、行號、程式碼差異和工具執行結果。
• 隱私保護工具：內建可選的隱私過濾功能，使用 openai/privacy-filter 模型來隱藏電子郵件和密碼等敏感資訊。
• 訓練就緒：提供直接微調的範例，並支援與 Unsloth 庫整合。
• 技能合成：包含一個實用工具，可利用 LLM 從提取的語料庫中合成可重複使用的「代理技能」。

"這是一個極其有用的工具，能幫助我們建立高品質的訓練資料集。" — @handle