alirezamika/autoscraper

解決的問題

AutoScraper 透過消除手動撰寫複雜 CSS 選取器或 XPath 表達式的需要，簡化了網頁抓取。無需為每個網站硬式編碼規則，使用者只需提供他們想要提取資料的幾個範例，工具便能自動學習模式，以在相同或其它頁面上找到類似元素。

工作原理

該工具接收一個 URL 或 HTML 內容，以及一組「目標」樣本資料（如文字、URL 或 HTML 標籤值）。它分析頁面結構，基於這些樣本學習抓取規則。一旦建立模型，即可用於取得相似結果（符合模式的元素清單）或精確結果（與所提供樣本相同順序的特定元素）。

適用對象

需要快速從網站提取資料，而無需花時間分析 HTML 結構或維護脆弱選擇器的 Python 開發者。

主要亮點

• 基於範例學習：從樣本資料清單中自動學習抓取規則。
• 靈活提取：支援取得相似元素（例如所有文章標題）和精確元素（例如特定股票價格）。
• 模型持久化：可將學習到的抓取規則儲存至檔案並重新載入以重複使用。
• 自訂請求：透過 requests 模組支援自訂標頭和代理。