itsOwen/CyberScraper-2077
A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
解決的問題
CyberScraper 2077 是一款基於 AI 的網頁抓取工具，旨在從網站中提取結構化資料，包括具備反機器人防禦機制的網站以及 Tor 網路中的 .onion 站點。它可將非結構化網頁內容輕鬆轉換為 JSON、CSV 和 Excel 等可用格式。
工作原理
該工具結合使用 Playwright 進行瀏覽器自動化，以及 OpenAI、Gemini 或透過 Ollama 和 LiteLLM 接入的本地模型提供的大語言模型（LLM），以智慧方式解析和結構化網頁內容。它包含防檢測的隱身參數，支援非同步操作以提升速度，並可透過 Tor 網路路由流量，用於暗網抓取。此外，還提供基於 Streamlit 的圖形使用者介面（GUI）以方便使用者互動。
適用對象
適用於需要匿名且高效地從網路提取資料的資料分析師、研究人員、安全分析師和調查人員。
主要亮點
- AI 驅動解析：利用 LLM 智慧理解並解析網頁內容。
- 支援 Tor 網路：可自動路由抓取 .onion 站點。
- 隱身能力：具備繞過機器人檢測和驗證碼的功能。
- 多格式匯出：支援匯出為 JSON、CSV、HTML、SQL、Excel 和 Google Sheets。
- 多頁抓取：支援使用自訂 URL 模式抓取分頁內容（Beta）。
- 本地 LLM 集成：相容 Ollama，可在本地運行開源模型。
相關
- 專案
- 專案
- 專案
- 專案
- 專案