apurvsinghgautam/robin

Robin – AI 기반 다크웹 OSINT 도구

무엇인가요 – Robin은 Python/Streamlit 기반의 애플리케이션으로, 다크웹을 검색하고 원시 결과를 AI 기반 요약으로 변환하는 데 도움을 줍니다. OpenAI, Claude, Gemini, Mistral, Ollama 등 대규모 언어 모델(LLM)과 연동하여 다음 작업을 수행합니다:

사용자 쿼리를 개선합니다.
Tor를 통해 다크웹 검색 엔진에 질의합니다.
반환된 페이지를 필터링하고 스크래핑합니다.
짧은 조사 보고서를 생성하고, 검색을 다시 실행하지 않고도 후속 질문에 답변할 수 있습니다.

주요 기능

다중 모델 지원 – OpenAI 호환 API(로컬 모델은 Ollama 또는 llama.cpp를 통해 사용 가능)를 사용할 수 있습니다.
웹 UI – http://localhost:8501에서 실행되는 Streamlit 프론트엔드입니다.
MCP 통합 – 동일한 Docker 명령어로 mcp 서브커맨드를 사용해 MCP 서버로 실행 가능하며, 다른 LLM 에이전트(Claude, Codex, Hermes, OpenClaw 등)가 직접 호출할 수 있습니다.
대화형 후속 질문 – 동일한 조사에 대해 새로운 질문을 던질 수 있으며, 이미 스크래핑된 데이터에서 답변합니다.
한 번의 클릭으로 핵심 전환 – 현재 발견된 내용을 기반으로 제안된 새로운 쿼리가 표시됩니다.
Docker 준비 완료 – 공식 Docker 이미지(apurvsg/robin)를 제공하며, 간단한 실행 명령어로 사용 가능합니다. 조사 데이터는 볼륨에 지속됩니다.
안전성 검사 – LLM에 전송하기 전에 스크래핑된 텍스트에서 제어 문자, 제로 너비 문자, BIDI 문자를 제거하여 정제합니다.

실행 방법

Tor 설치 (apt install tor, brew install tor 등)하고 Tor 데몬이 실행 중인지 확인합니다.
LLM API 키 제공 – .env 파일에 OPENAI_API_KEY, ANTHROPIC_API_KEY, GOOGLE_API_KEY, MISTRAL_API_KEY, 또는 OPENROUTER_API_KEY를 기입합니다 (.env.example에서 복사).
Docker 이미지 실행 (권장):
```
docker pull apurvsg/robin:latest
docker run --rm \
    -v "$(pwd)/.env:/app/.env" \
    --add-host=host.docker.internal:host-gateway \
    -p 8501:8501 \
    apurvsg/robin:latest
```
- 재시작 후에도 보고서를 유지하려면 이름이 지정된 볼륨(robin-investigations:/app/investigations) 또는 로컬 폴더를 마운트합니다.
브라우저에서 http://localhost:8501 을 열고 새로운 조사를 시작합니다.

Robin을 MCP 서버로 사용하는 방법

LLM 에이전트(Claude, Codex, Hermes 등)의 MCP 구성에 동일한 Docker 명령어를 mcp 서브커맨드로 실행하는 서버 항목을 추가합니다. Claude 예시:

{
  "mcpServers": {
    "robin": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-v", "robin-investigations:/app/investigations", "apurvsg/robin", "mcp"],
      "timeout": 600000
    }
  }
}

에이전트는 채팅에서 직접 Robin의 도구를 호출하여 동일한 조사 데이터를 받을 수 있습니다.

일반적인 사용 사례

브랜드, 자격 증명 유출, 불법 제품에 대한 다크웹 언급을 빠르게 AI 지원으로 개요가 필요한 경찰 또는 기업 보안 팀.
은닉 서비스 활동에 대한 학술적 OSINT 연구를 수행하는 연구자.
이미 수집된 증거에 대해 후속 질문을 하고 싶은 인시던트 대응 분석가.

제한 사항 및 주의사항

법적 위험 – 특정 다크웹 콘텐츠에 접근하는 것은 많은 관할 구역에서 불법일 수 있습니다. 이 도구는 교육적 및 합법적 조사에만 사용됩니다.
Tor 의존성 – Tor 데몬이 실행 중이고 접근 가능한 동안에만 검색이 가능합니다.
모델 비용 및 프라이버시 – 모든 쿼리는 선택한 LLM 제공업체로 전송됩니다. 민감한 데이터가 제3자 API에 노출될 수 있습니다.
속도 – Tor 검색은 수분이 소요될 수 있으며, MCP 호스트는 타임아웃 설정을 늘려야 할 수 있습니다.

면책 조항 – 저자는 오용에 대해 책임을 지지 않습니다. 사용자는 지역 법률 및 사용하는 모든 LLM API의 이용 약관을 준수해야 합니다.

감사의 말 – Thomas Roccia의 "Perplexity of the Dark Web", 저자의 다크웹 OSINT 도구 리포지토리, 그리고 OSINT-Assistant 프롬프트 라이브러리에서 영감을 받았습니다.

apurvsinghgautam/robin

Robin – AI 기반 다크웹 OSINT 도구

관련