oxylabs/chatgpt-scraper

解决的问题

该项目提供了一种程序化收集 ChatGPT 响应和元数据的方法。它消除了开发者管理复杂基础设施（如代理、IP 轮换和 CAPTCHA）的需要，这些通常在抓取 AI 聊天机器人界面时是必需的。

工作原理

该工具是一个基于 API 的抓取器，向 ChatGPT 发送提示并以结构化格式返回结果。用户向 Oxylabs Web Scraper API 发送包含提示和凭据的 POST 请求。API 会处理浏览器模拟、地理定位以及将响应解析为 JSON 或 Markdown 格式，包括使用的特定 LLM 模型、引用、搜索查询，以及响应中出现的任何购物产品或广告等详细信息。

适用人群

• 开发者：通过收集真实世界对话数据来构建 AI 训练数据集。
• SEO 和营销团队：监控品牌在 AI 生成响应中的存在情况以及竞争对手关键词。
• 数据分析师：分析 AI 响应模式和引用模式。

主要亮点

• 结构化数据输出：返回解析后的 JSON 或 Markdown，包含引用、搜索查询和内联链接。
• 基础设施管理：自动处理代理管理、IP 轮换和机器人检测系统。
• 地理定位：允许用户从特定国家路由请求，以获取本地化响应。
• 自定义浏览器指令：支持无头浏览器模拟，以模仿真实用户行为。