sybil-solutions/ai-data-extraction

AI 编程助手训练数据提取工具包

它是什么 – 一组 Python 脚本，用于扫描热门 AI 编程助手（Claude、Cursor、Codex、Gemini、OpenCode 等）的本地存储空间，并提取完整的对话历史、代码片段、差异文件、工具调用结果和元数据。提取的内容以行分隔 JSON (JSONL) 格式写入，可直接输入到数据集构建管线中，用于微调或其他机器学习研究。

主要功能

• 自动检测操作系统，并在每个受支持工具的默认配置/数据文件夹中进行搜索。
• 处理多种存储格式：JSONL 文件、SQLite 数据库、Tauri .dat 文件以及内容寻址 blob 存储。
• 保留丰富的上下文：文件路径、行范围、代码选择、建议的差异文件、工具输出、时间戳、模型标识符和会话层级。
• 每个助手皆有一键执行脚本（extract_cursor.py、extract_claude_code.py 等）以及一个 extract_all.sh 包装脚本。
• 可选的隐私过滤器，可在本地运行 OpenAI 隐私过滤模型以遮蔽电子邮件、机密信息等。
• 辅助工具可进行合并、按日期筛选，或仅选择包含差异文件的对话。
• corpus_to_skills.py 脚本可通过本地 LLM 将筛选后的语料库转换为可重复使用的 Agent Skills。

典型工作流程

1. 安装 Python 3.6+（核心提取器无需额外依赖）。
2. 运行所需的脚本，例如 python3 extract_cursor.py。
3. 工具会创建 extracted_data/…jsonl 文件，每个对话包含一个 JSON 对象。
4. 使用如 🤗 Datasets 等库加载 JSONL 文件，选择性地进行筛选，并将其用于模型微调。

为什么重要 – 训练高质量的代码助手模型需要大型且结构良好的语料库，这些语料库不仅包含文本交流，还包含周围的代码上下文和编辑历史。此工具包自动化了从现有助手使用的多种专有存储格式中提取数据的繁琐任务，让研究人员能够在保持本地优先和隐私意识的同时，构建更丰富的数据集。

授权与安全 – MIT 授权。README 强调用户必须拥有其提取的数据，尊重每个工具的服务条款，并在分享任何提取的材料前执行机密扫描/隐私检查。