itsOwen/CyberScraper-2077
A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
解决的问题
CyberScraper 2077 是一款基于 AI 的网页抓取工具，旨在从网站中提取结构化数据，包括具有反机器人防御机制的网站以及 Tor 网络中的 .onion 站点。它可将非结构化网页内容轻松转换为 JSON、CSV 和 Excel 等可用格式。
工作原理
该工具结合使用 Playwright 进行浏览器自动化，以及 OpenAI、Gemini 或通过 Ollama 和 LiteLLM 接入的本地模型提供的大语言模型（LLM），以智能方式解析和结构化网页内容。它包含防检测的隐身参数，支持异步操作以提升速度，并可通过 Tor 网络路由流量，用于暗网抓取。此外，还提供基于 Streamlit 的图形用户界面（GUI）以方便用户交互。
适用人群
适用于需要匿名且高效地从网络提取数据的数据分析师、研究人员、安全分析师和调查人员。
主要亮点
- AI 驱动解析：利用 LLM 智能理解并解析网页内容。
- 支持 Tor 网络：可自动路由抓取 .onion 站点。
- 隐身能力：具备绕过机器人检测和验证码的功能。
- 多格式导出：支持导出为 JSON、CSV、HTML、SQL、Excel 和 Google Sheets。
- 多页抓取：支持使用自定义 URL 模式抓取分页内容（Beta）。
- 本地 LLM 集成：兼容 Ollama，可在本地运行开源模型。
相关
- 项目
- 项目
- 项目
- 项目
- 项目