itsOwen/CyberScraper-2077

해결하는 문제

CyberScraper 2077는 봇 방어 기능이 있는 웹사이트와 Tor 네트워크의 .onion 사이트를 포함하여 웹사이트에서 구조화된 데이터를 추출하기 위해 설계된 AI 기반 웹 스크래핑 도구입니다. 비구조화된 웹 콘텐츠를 JSON, CSV, Excel과 같은 사용 가능한 형식으로 쉽게 변환할 수 있습니다.

작동 방식

이 도구는 Playwright를 사용한 브라우저 자동화와 OpenAI, Gemini, 또는 Ollama 및 LiteLLM를 통해 로컬 모델을 사용하는 대규모 언어 모델(LLM)을 결합하여 웹 콘텐츠를 지능적으로 분석하고 구조화합니다. 탐지 회피를 위한 스텔스 파라미터를 포함하고 있으며, 속도를 높이기 위해 비동기 작업을 지원하며, 다크웹 스크래핑을 위해 트래픽을 Tor 네트워크를 통해 라우팅할 수 있습니다. 또한 사용자 상호작용을 위한 Streamlit 기반 GUI도 제공합니다.

대상 사용자

데이터 분석가, 연구자, 보안 분석가, 조사 담당자 등 웹에서 익명으로 효율적으로 데이터를 추출해야 하는 분들에게 적합합니다.

주요 기능

• AI 기반 파싱: LLM을 사용하여 웹 콘텐츠를 지능적으로 이해하고 파싱합니다.
• Tor 네트워크 지원: 자동 라우팅을 통해 .onion 사이트를 스크래핑할 수 있습니다.
• 스텔스 기능: 봇 탐지 및 캡차를 우회할 수 있는 기능을 포함합니다.
• 다양한 형식 내보내기: JSON, CSV, HTML, SQL, Excel, Google 스프레드시트로 데이터를 내보낼 수 있습니다.
• 다중 페이지 스크래핑: 사용자 정의 URL 패턴을 사용한 페이징 콘텐츠 스크래핑에 베타 지원이 있습니다.
• 로컬 LLM 통합: Ollama와 호환되어 오픈소스 모델을 로컬에서 실행할 수 있습니다.