lynote-ai/ai-image-detector

Open-source CLI, API, web UI, and reproducible benchmarks for probabilistic AI-generated image detection.

AI Image Detector – What It Is

AI Image Detector는 명령줄/Python 라이브러리 형태의 오픈소스 도구로, 주어진 사진이 AI 이미지 생성기로 만들어졌을 가능성을 알려줍니다. 여러 연구 수준의 탐지기들을 래핑하고 있으며(기본값은 UniversalFakeDetect – CLIP 기반 모델에 작은 선형 헤드가 붙음) Nonescape와 Sentry 같은 외부 탐지기도 혼합해서 사용할 수 있습니다. yt‑dlp나 rembg와 같은 “한 번 설치하고 한 번의 명령으로 실행” 철학을 따릅니다.

Key Features (as described in the README)

Feature	What It Does
Multiple back‑ends	`univfd`(기본), `sentry‑convnext‑small`, `ultra`(내부 + 외부 탐지기 앙상블), `nonescape‑mini`, `hybrid`, `hf`(任意의 Hugging Face 이미지 분류 checkpoint).
CLI	`aidetect detect <path>` – 단일 이미지 또는 재귀 폴더, `--csv`, `--json`, `--backend` 옵션 지원.
Python API	`create_detector(backend, device)` → `predict_path(image_path)` 가 `probability_ai`와 라벨을 포함한 결과 객체를 반환.
Web UI	`web` extra를 설치하고 `aidetect serve` 실행 시 Gradio 인터페이스 제공.
FastAPI server	`api` extra를 설치하고 `aidetect api …` 실행 시 간단한 HTTP 엔드포인트(`/detect`) 제공.
Benchmarking utilities	폴더, Hugging Face 데이터셋, 로컬 Tiny‑GenImage shard를 평가하는 명령; CSV/JSON으로 정확도, F1, ROC‑AUC, 이미지별 점수, 임계값 스윕 출력.
Threshold calibration	보정용 스플릿에서 균형 정확도나 F1 등 메트릭에 맞춰 결정 임계값을 최적화하는 내장 지원.
Reproducible reports	모든 명령이 결정적인 JSON 보고서를 덤프할 수 있으며, 모델 메타데이터, 데이터셋 정보, 이미지별 예측 포함.
Lightweight install	순수 Python 패키지, Python 3.10+ 지원, 평가, HF 백엔드, API, UI용 옵션 extras 제공.

How to Install & Run (quick start)

# Clone the repo and set up a virtual environment
python -m venv .venv
source .venv/bin/activate
pip install -e .               # core package
pip install -e '.[web]'        # optional Gradio UI (or .[api] for FastAPI)

기본 모델로 단일 이미지 감지:

aidetect detect image.jpg

전체 폴더를 감지하고 CSV 보고서 작성:

aidetect detect ./images --csv report.csv

Web UI 실행:

aidetect serve   # then open http://localhost:7860

What the Output Means

probability_ai – [0, 1] 사이의 부동소수점 값으로, 이미지가 AI 생성일 확률을 모델이 추정한 값.
label – 기본 규칙은 probability_ai >= 0.5 → ai, 그 외는 human.
0.45‑0.55 근처 점수는 약한 증거이며, 중요한 결정에서는 여러 백엔드를 확인할 것을 README에서 권고.

Benchmarks & Performance (as reported)

작은 3이미지 sanity check에서 정확도는 UnivFD 33 %에서 다른 대부분 백엔드 67 %까지 다양.
200이미지 보정된 Tiny‑GenImage 스플릿에서 UnivFD는 임계값 튜닝 후 76 % 정확도, Hybrid은 약 67 %를 기록.
가장 강력한 구성 ultra(Hybrid‑plus + Sentry)는 400이미지 테스트 세트에서 ≈ 86 % 정확도 / 0.86 balanced accuracy / 0.85 F1 / 0.92 ROC‑AUC 달성.
생성기별 성능 차이도 보고되었으며, Midjourney vs 실제 이미지 구분은 약 84 % 정확도, 오래된 모델 VQDM은 약 78 % 수준.

Limitations (explicitly listed)

어떤 탐지기도 보편적으로 작동하지 않음 – 새로운 생성기, 강한 재압축, 스크린샷, 크롭, 업스케일, 적대적 편집 등은 탐지를 무력화할 수 있음.
도구는 전체 이미지의 가능성만 제공하며, 편집된 영역을 로컬라이즈하지 않음.
벤치마크는 로컬, 소규모이며 데이터 분포가 다르면 실제 신뢰성을 과대평가할 수 있음.

When to Use Which Backend

Backend	When to Pick It
`univfd`	가장 간단하고 의존성이 적은 베이스라인이 필요할 때.
`sentry‑convnext‑small`	앙상블 없이 강력한 단일 외부 탐지기가 필요할 때.
`ultra`	바로 사용할 수 있는 최고 실용 정확도가 필요할 때(내부 + 외부 앙상블).
`nonescape‑mini`	추가 신호로 유용; 앙상블에 결합 가능.
`hf`	커스텀 Hugging Face 이미지 분류 checkpoint를 시험하고 싶을 때.
`hybrid` / `hybrid‑plus`	UnivFD와 HF 분류기를 혼합하고 싶을 때(가중치 조정 가능).

Citation

연구에서 이 도구를 사용할 경우, README에 명시된 대로 원본 UniversalFakeDetect 논문(CVPR 2023)을 인용하십시오.

Bottom Line

AI Image Detector는 이미지의 합성 가능성을 추정하기 위한 실용적이고 문서화된 유틸리티입니다. 최신 탐지기를 여러 개 번들링하고, 간편한 CLI, API, 웹 인터페이스를 제공하며, 자체 벤치마크와 임계값 보정 도구를 포함하고 있어 자체 모델을 학습할 필요가 없습니다.