itsOwen/CyberScraper-2077
A Powerful web scraper powered by LLM | OpenAI, Gemini & Ollama
何を解決するか
CyberScraper 2077 は、ボット防御や Tor ネットワークの .onion サイトを含むウェブサイトから構造化データを抽出するための AI ベースのウェブスクレイピングツールです。非構造化ウェブコンテンツを JSON、CSV、Excel などの使用可能な形式に簡単に変換できます。
動作方法
このツールは、Playwright を用いたブラウザ自動化と、OpenAI、Gemini、または Ollama および LiteLLM を通じたローカルモデルによる大規模言語モデル（LLM）を組み合わせて、ウェブコンテンツを知的に解析・構造化します。検出を回避するためのステルスパラメータを備え、高速化のための非同期処理をサポートし、ダークウェブスクレイピング用に Tor ネットワーク経由でトラフィックをルーティングできます。また、Streamlit をベースにした GUI によりユーザーとのインタラクションが可能になっています。
対象ユーザー
データアナリスト、研究者、セキュリティアナリスト、調査担当者など、ウェブから匿名かつ効率的にデータを抽出する必要がある方々に適しています。
主な特徴
- AI駆動の解析: LLM を活用してウェブコンテンツを知的に理解・解析します。
- Tor ネットワーク対応: 自動ルーティングにより .onion サイトのスクレイピングが可能。
- ステルス機能: ボット検出やキャプチャを回避する機能を備えています。
- マルチフォーマットエクスポート: JSON、CSV、HTML、SQL、Excel、Google スプレッドシートへのエクスポートをサポート。
- マルチページスクレイピング: カスタム URL パターンを使用したページネーションコンテンツのベータ対応。
- ローカル LLM 統合: Ollama と連携し、オープンソースモデルをローカルで実行可能。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト