itsOwen/CyberScraper-2077

解決する課題

CyberScraper 2077 は、ウェブサイトからの構造化データ抽出を自動化します。LLMを使用して非構造化ウェブコンテンツを解析し、JSON、CSV、SQLなどの利用可能な形式にフォーマットすることで、現代のウェブスクレイピングの複雑さに対処します。また、一般的なアンチボット保護を回避するためのツールも提供します。

仕組み

このプロジェクトは、ブラウザ自動化のために Playwright を搭載したバックエンドと対話する Streamlit ベースのインターフェースを使用します。ユーザーが URL を提供すると、ツールは LLM（OpenAI、Gemini、または Ollama/LiteLLM 経由のローカルモデル）を使用して、特定のデータポイントをインテリジェントに解釈・抽出します。複数ページのナビゲーション、匿名性のための Tor ネットワークルーティング、人間のブラウジング行動を模倣するステルスパラメータなどの機能が含まれています。

対象ユーザー

このツールは、ウェブサイトから効率的にデータを収集する必要があるデータアナリスト、研究者、開発者向けに設計されています。特に、ページネーションされたコンテンツを扱う場合や、検知を回避するために高度な技術を必要とするサイトを扱う場合に非常に有用です。

ハイライト

• AI駆動の解析: LLMを活用してウェブコンテンツを自動的に理解し、構造化します。
• ステルス＆アンチボット: Playwright のステルスモード、カスタムヘッダー、ローカルブラウザインスタンスの使用などの機能を備え、ボット検知を回避します。
• マルチフォーマットエクスポート: 抽出したデータを JSON、CSV、HTML、SQL、Excel、または Google Sheets に直接保存することをサポートしています。
• Tor 統合: .onion サイトの匿名スクレイピングを可能にします。
• 柔軟なモデルサポート: クラウドベースの API（OpenAI、Gemini）および Ollama 経由のローカルオープンソースモデルと互換性があります。