alirezamika/autoscraper

解决的问题

AutoScraper 通过消除手动编写复杂 CSS 选择器或 XPath 表达式的需要，简化了网页抓取。无需为每个网站硬编码规则，用户只需提供他们想要提取数据的几个示例，工具便会自动学习模式，以在相同或其它页面上找到类似元素。

工作原理

该工具接收一个 URL 或 HTML 内容，以及一组“目标”样本数据（如文本、URL 或 HTML 标签值）。它分析页面结构，基于这些样本学习抓取规则。一旦构建了模型，即可用于获取相似结果（匹配模式的元素列表）或精确结果（与所提供样本相同顺序的特定元素）。

适用人群

需要快速从网站提取数据，而无需花费时间分析 HTML 结构或维护脆弱选择器的 Python 开发者。

主要亮点

• 基于示例学习：从样本数据列表中自动学习抓取规则。
• 灵活提取：支持获取相似元素（例如所有文章标题）和精确元素（例如特定股票价格）。
• 模型持久化：可将学习到的抓取规则保存到文件并重新加载以重复使用。
• 自定义请求：通过 requests 模块支持自定义头部和代理。