itsOwen/CyberScraper-2077

해결하는 문제

CyberScraper 2077은 웹사이트에서 구조화된 데이터를 추출하는 과정을 자동화합니다. LLM을 사용하여 비구조화된 웹 콘텐츠를 파싱하고 JSON, CSV, SQL과 같은 사용 가능한 형식으로 포맷팅함으로써 현대 웹 스크래핑의 복잡성을 해결하며, 일반적인 안티봇 보호를 우회하는 도구를 제공합니다.

작동 방식

이 프로젝트는 브라우저 자동화를 위해 Playwright 기반의 백엔드와 상호작용하는 Streamlit 인터페이스를 사용합니다. 사용자가 URL을 제공하면, 이 도구는 LLM(OpenAI, Gemini 또는 Ollama/LiteLLM을 통한 로컬 모델)을 사용하여 특정 데이터 포인트를 지능적으로 해석하고 추출합니다. 다중 페이지 탐색, 익명성을 위한 Tor 네트워크 라우팅, 인간의 브라우징 행동을 모방하는 스텔스 매개변수 등의 기능이 포함되어 있습니다.

대상 사용자

이 도구는 웹사이트에서 데이터를 효율적으로 수집해야 하는 데이터 분석가, 연구원 및 개발자를 위해 설계되었습니다. 특히 페이지네이션된 콘텐츠를 다루거나 탐지를 피하기 위해 고급 기술이 필요한 사이트를 다룰 때 매우 유용합니다.

주요 특징

• AI 기반 파싱: LLM을 활용하여 웹 콘텐츠를 자동으로 이해하고 구조화합니다.
• 스텔스 및 안티봇: Playwright 스텔스 모드, 사용자 지정 헤더, 로컬 브라우저 인스턴스 사용 등의 기능을 포함하여 봇 탐지를 우회합니다.
• 다중 형식 내보내기: 추출된 데이터를 JSON, CSV, HTML, SQL, Excel로 저장하거나 Google Sheets로 직접 저장하는 기능을 지원합니다.
• Tor 통합: .onion 사이트에 대한 익명 스크래핑을 허용합니다.
• 유연한 모델 지원: 클라우드 기반 API(OpenAI, Gemini) 및 Ollama를 통한 로컬 오픈 소스 모델과 호환됩니다.