itsOwen/CyberScraper-2077

解决的问题

CyberScraper 2077 实现了网站结构化数据提取的自动化。它通过利用大语言模型将非结构化的网页内容解析并格式化为 JSON、CSV 或 SQL 等可用格式，解决了现代网页抓取的复杂性，同时提供了绕过常见反爬虫保护的工具。

工作原理

该项目使用基于 Streamlit 的界面与由 Playwright 提供支持的后端进行交互，以实现浏览器自动化。用户提供 URL，工具利用大语言模型（通过 OpenAI、Gemini 或通过 Ollama/LiteLLM 运行的本地模型）智能地解释并提取特定数据点。它包含多页导航、用于匿名的 Tor 网络路由以及模拟人类浏览行为的隐身参数等功能。

适用人群

该工具专为需要高效收集网站数据的数据分析师、研究人员和开发人员而设计。对于处理分页内容或需要高级技术以避免检测的网站，它特别有用。

主要亮点

• 人工智能驱动解析：利用大语言模型自动理解和结构化网页内容。
• 隐身与反爬虫：包含 Playwright 隐身模式、自定义请求头和使用本地浏览器实例等功能，以绕过机器人检测。
• 多格式导出：支持将提取的数据保存为 JSON、CSV、HTML、SQL、Excel 或直接保存到 Google Sheets。
• Tor 集成：允许对 .onion 站点进行匿名抓取。
• 灵活的模型支持：兼容云端 API（OpenAI、Gemini）以及通过 Ollama 运行的本地开源模型。