apurvsinghgautam/robin

AI-Powered Dark Web OSINT Tool

Robin – AI駆動のダークウェブOSINTツール

何であるか – Robinは、Python/Streamlitで構築されたアプリケーションで、ダークウェブを検索し、得られた結果をAIで要約するのを支援します。OpenAI、Claude、Gemini、Mistral、Ollamaなど、大規模言語モデル(LLM)と連携して以下の作業を行います:

  1. ユーザーのクエリを最適化する。
  2. Tor経由でダークウェブ検索エンジンに問い合わせる。
  3. 返されたページをフィルタリング・スクレイピングする。
  4. 短い調査レポートを生成し、検索を再実行せずにフォローアップ質問に対応できる。

主な機能

  • マルチモデル対応 – OpenAI互換API(Ollamaやllama.cppを介したローカルモデルも含む)が利用可能。
  • Web UI – http://localhost:8501 で動作するStreamlitフロントエンド。
  • MCP統合 – DockerコマンドでMCPサーバーとして起動可能。他のLLMエージェント(Claude、Codex、Hermes、OpenClawなど)が直接呼び出せる。
  • 会話型フォローアップ – 同じ調査について新しい質問を投げられる。すでにスクレイピング済みのデータから回答する。
  • ワンクリックピボット – 現在の調査結果に基づいて、提案された新しいクエリが表示される。
  • Docker対応 – 公式Dockerイメージ(apurvsg/robin)を提供。簡単な実行コマンドで利用可能。調査データはボリュームに永続化される。
  • セキュリティチェック – LLMに送信する前に、スクレイピングされたテキストから制御文字、ゼロ幅文字、BIDI文字を除去してクリーニングする。

実行方法

  1. Torのインストール(apt install tor、brew install torなど)し、Torデーモンが実行中であることを確認する。
  2. LLM APIキーの提供 – .envファイルに OPENAI_API_KEY、ANTHROPIC_API_KEY、GOOGLE_API_KEY、MISTRAL_API_KEY、または OPENROUTER_API_KEY を記載する(.env.exampleからコピー)。
  3. Dockerイメージの実行(推奨):
    docker pull apurvsg/robin:latest
    docker run --rm \
        -v "$(pwd)/.env:/app/.env" \
        --add-host=host.docker.internal:host-gateway \
        -p 8501:8501 \
        apurvsg/robin:latest
    
    • 調査レポートを再起動後も保持するため、名前付きボリューム(robin-investigations:/app/investigations)またはローカルフォルダをマウントする。
  4. ブラウザで http://localhost:8501 を開き、新しい調査を開始する。

RobinをMCPサーバーとして使用する方法

  • LLMエージェント(Claude、Codex、Hermesなど)のMCP設定に、同じDockerコマンドをmcpサブコマンドで実行するエントリを追加する。Claudeの例:
    {
      "mcpServers": {
        "robin": {
          "command": "docker",
          "args": ["run", "-i", "--rm", "-v", "robin-investigations:/app/investigations", "apurvsg/robin", "mcp"],
          "timeout": 600000
        }
      }
    }
    
  • エージェントはチャットから直接Robinのツールを呼び出し、同じ調査データを受け取れる。

一般的な利用シーン

  • ブランド名、資格情報漏洩、違法製品に関するダークウェブの記述を迅速にAI支援で概観したい、警察や企業セキュリティチーム。
  • 隠れサービス活動に関する学術的なOSINT研究を行う研究者。
  • 既に収集済みの証拠についてフォローアップ質問をしたいインシデント対応アナリスト。

制限と注意事項

  • 法的リスク – 特定のダークウェブコンテンツにアクセスすることは、多くの管轄区域で違法である可能性がある。本ツールは教育的・合法的な調査のみを目的としている。
  • Tor依存 – Torデーモンが実行中かつアクセス可能である間のみ検索が可能。
  • モデルのコストとプライバシー – すべてのクエリは選択したLLMプロバイダーに送信される。機密データが第三者APIに暴露される可能性がある。
  • 速度 – Tor検索には数分かかる場合がある。MCPホストはタイムアウト設定を増やす必要がある場合がある。

免責事項 – 著者は不正使用について責任を負わない。ユーザーは自らの地域の法律および使用する任意のLLM APIの利用規約に準拠することを確認する必要がある。


謝辞 – Thomas Roccia氏の「Perplexity of the Dark Web」、著者のダークウェブOSINTツールリポジトリ、およびOSINT-Assistantプロンプトライブラリにインスパイアされた。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト