arxhr007/Aliens_eye

Aliens Eye – AI‑OSINT 사용자 이름 스캐너

무엇인가요 – 주어진 사용자 이름이 840개 이상의 소셜미디어, 포럼 및 기타 공개 플랫폼에 존재하는지 확인하는 Python 명령줄 도구입니다. HTTP 상태, DOM 단서, OpenGraph 태그 등의 수작업 히ュ리스틱과 가벼운 로지스틱 회귀 모델을 결합하여 프로필이 발견됨, 아마도, 미발견으로 판단합니다. 스캐너는 비동기로 실행되며, 중단된 작업을 재개할 수 있고, 작고 가벼운 MCP 서버를 통해 LLM 에이전트에 결과를 제공할 수 있습니다.

왜 중요한가요 – 기존 OSINT 사용자 이름 검색은 단순한 HTTP 상태 체크에 의존하여, 일반 페이지를 반환하거나 자바스크립트를 사용하는 사이트를 놓치는 경우가 많습니다. 30개의 엔지니어링된 신호와 ML을 결합함으로써 정밀도와 재현율을 향상시키며, 동일한 사람일 가능성이 있는 계정들을 클러스터링할 수 있습니다 (아바타 해시, 생애 설명 유사성, 공유 링크 등).

주요 기능

• 광범위한 커버리지 – 840개 이상의 사이트. 각 사이트는 sites.d/ 내의 JSON URL 템플릿으로 정의됩니다.
• 하이브리드 탐지 – 히ュ리스틱 점수 + 배포된 로지스틱 회귀 모델 (런타임 중 무거운 종속성 없음).
• 프로필 추출 – OpenGraph/JSON-LD 또는 사이트별 CSS를 통해 표시 이름, 생애 설명, 아바타를 추출합니다.
• 사이트 간 상관관계 – 선택적 --correlate로 동일한 사람일 가능성이 있는 프로필을 그룹화합니다.
• 재귀적 확장 – 생애 설명에서 발견된 사용자 이름을 따라갑니다 (--recurse-depth).
• 도메인 가용성 확인 – <username>.com, .io 등이 등록되어 있는지 확인합니다.
• 워치 모드 – 주기적인 재스캔 및 웹훅 알림.
• 재개 가능한 스캔 – 체크포인트 파일 (--resume).
• 풍부한 터미널 UI – rich를 사용한 실시간 진행 표; 선택적 인터랙티브 TUI 브라우저.
• MCP 서버 – aliens_eye serve로 LLM 에이전트가 스캐너에 질의할 수 있습니다.
• 프록시/Tor 지원, 사이트 필터링, NSFW 제외, 자바스크립트 기반 페이지용 Playwright 후속 조치.
• 내보내기 형식 – JSON, CSV, HTML, Markdown, PDF에 더해 그래프 파일(GEXF, Mermaid, Maltego CSV)도 지원.

일반 워크플로우

# 단일 핸들에 대한 빠른 확인
aliens_eye alice

# 상관관계 및 도메인 확인 포함의 완전 기능 스캔
aliens_eye alice --correlate --domains --format all --output results

# LLM 기반 워크플로우용 서비스로 실행
aliens_eye serve   # 이후 에이전트에서 MCP 엔드포인트 호출

설치 – pip install aliens-eye (Playwright, 훈련, PDF, TUI, 또는 MCP용 확장 기능 포함). Docker 이미지도 제공됩니다.

탐지 방식

1. HTTP 응답에서 30차원 특징 벡터를 구성 (상태 버킷, 시간, 리디렉션, DOM 단서, 구조화된 데이터 태그 등).
2. 히ュ리스틱 엔진이 벡터에 점수를 매깁니다.
3. 내장된 로지스틱 회귀 모델이 투표합니다. 두 점수를 혼합하여 발견됨 / 아마도 / 미발견에 매핑되는 확률을 산출합니다.
4. 모델 파일이 없을 경우, 히ュ리스틱만으로 포괄됩니다.

재훈련 – 사용자는 레이블된 데이터셋을 수집(aliens_eye train collect), 새로운 모델을 적합(aliens_eye train fit)하고 --model로 제공할 수 있습니다.

사용 사례

• 오픈소스 인텔리전스 조사 (하드르를 여러 플랫폼에서 추적).
• 브랜드 모니터링 – 위조 계정 또는 도메인 스퀴팅된 사용자 이름 탐지.
• 보안 평가 – 직원의 공개적 존재감을 열거.
• MCP 서버를 통해 LLM 에이전트에 최신 OSINT 데이터 공급.

제한 사항 / 주의사항

• 정확도는 사이트 템플릿과 ML 모델의 품질에 따라 달라지며, 오진/누락은 selfcheck 명령어를 통해 보고됩니다.
• 많은 사이트를 빠르게 스캔하면 레이트 제한에 걸리거나 스크래핑 방지 방어를 유발할 수 있습니다. 설정 가능한 지연 시간이 포함되어 있지만, 모든 사이트의 이용 약관에 완전히 준수한다고 보장할 수 없습니다.
• 법적/윤리적 책임은 사용자에게 있습니다. 리포지토리에는 도구가 정당한 연구 목적에만 사용되어야 한다는 면책 조항이 포함되어 있습니다.
• ML 모델은 단순한 로지스틱 회귀이며, 딥러닝 탐지기와는 다릅니다. Playwright가 활성화되지 않은 경우, 매우 동적인 콘텐츠를 가진 사이트에서는 성능이 저하될 수 있습니다.

기여 방법 – src/aliens_eye/data/sites.json에 새로운 사이트 정의를 추가하거나, sites.d/에 JSON 파일을 넣으세요. 지표 기반 데이터셋을 개선하고, 모델 개선을 제출하거나, 내보내기 플러그인을 추가하세요. 테스트는 pytest로 실행하고, 코드 스타일은 ruff로 확인합니다.

---

위 정보는 리포지토리의 README에서 직접 가져왔으며, 외부 가정은 전혀 추가하지 않았습니다.