D4Vinci/Scrapling

解决的问题

Scrapling 是一个为简化现代网页数据提取而设计的自适应网页爬虫框架。它解决了常见的爬虫挑战，例如网站设计变更导致的选择器失效、Cloudflare Turnstile 等反机器人系统，以及从单个请求扩展到大规模并发爬取的复杂性。

工作原理

该框架提供了一套适用于不同爬取需求的工具：

• 自适应解析：解析器能够从网站变更中学习，并在页面结构更新时自动重新定位元素。
• 隐蔽获取：包含可绕过反机器人保护的获取器，并支持无头浏览器自动化。
• 蜘蛛框架：提供类似 Scrapy 的 API，允许用户定义带有异步回调、并发爬取和自动代理轮换的蜘蛛。
• AutoThrottle：系统根据网站响应时间动态调整爬取速度，并在检测到速率限制时自动退避。
• 持久化：支持基于检查点的暂停与恢复功能，确保长时间运行的爬取不会丢失。

适用人群

专为需要可靠、可扩展方式从网站收集数据的网页爬虫和开发者设计，适用于从简单脚本到企业级爬取的各类场景。

主要亮点

• 自适应选择器：即使在网站设计更新后也能自动定位元素。
• 反机器人绕过：开箱即用支持 Cloudflare Turnstile 和隐蔽获取器。
• 可扩展爬取：支持并发、多会话爬取，并可实时流式输出结果。
• 开发者友好：包含开发模式，可缓存响应并回放，无需重新请求服务器即可迭代解析逻辑。
• 专用模板：提供 Shopify 商店、站点地图、XML/RSS 订阅源的预设蜘蛛。