ScrapeGraphAI/Scrapegraph-ai

解決的問題

ScrapeGraphAI 是一個 Python 庫，旨在透過以自然語言提示取代手動選擇器式爬取，簡化網頁爬取。它允許使用者無需為每個網站撰寫複雜的解析邏輯，即可從網站或本地文件（XML、HTML、JSON、Markdown）中提取特定資訊。

工作原理

該庫結合使用大型語言模型（LLMs）和直接圖邏輯來建立爬取管道。使用者只需提供描述所需資料的提示以及來源 URL 或檔案。系統隨後處理頁面內容，並使用 LLM 將請求的資訊提取為結構化格式（如 JSON）。

適用對象

適用於需要從網路或本地檔案中提取結構化資料，且希望避免傳統爬取腳本維護負擔的開發者與資料研究人員。

主要亮點

• 多種管道類型：包含單頁提取專用圖（SmartScraperGraph）、多頁提取專用圖（SearchGraph、SmartScraperMultiGraph），以及產生 Python 程式碼或音訊檔案的專用圖（ScriptCreatorGraph、SpeechGraph）。
• LLM 靈活性：支援透過 OpenAI、Groq、Gemini、Azure 等 API 使用多種模型，或透過 Ollama 在本地執行。
• 廣泛整合：與 LangChain、LlamaIndex、Crew.ai 等 LLM 框架，以及 Zapier、n8n 等低程式碼工具整合。
• 本地文件支援：不僅能爬取網站，還能處理 XML、JSON 等格式的本地檔案。