lynote-ai/ai-image-detector

Open-source CLI, API, web UI, and reproducible benchmarks for probabilistic AI-generated image detection.

AI Image Detector – What It Is

AI Image Detector は、コマンドライン / Python ライブラリとして提供されるオープンソースツールで、指定した画像が AI 画像生成器によって作成された可能性を示します。複数の研究レベルの検出器をラップしており（デフォルトは UniversalFakeDetect ― CLIP ベースのモデルに小さな線形ヘッドを付加）、Nonescape や Sentry といった外部検出器も組み合わせて使用できます。yt‑dlp や rembg のような「インストールは一度、実行は一コマンド」の哲学に従っています。

Key Features (as described in the README)

Feature	What It Does
Multiple back‑ends	`univfd`（デフォルト）、`sentry‑convnext‑small`、`ultra`（内部＋外部検出器のエンセンブル）、`nonescape‑mini`、`hybrid`、`hf`（任意の Hugging Face 画像分類 checkpoint）。
CLI	`aidetect detect <path>` – 単一画像または再帰的フォルダー、`--csv`、`--json`、`--backend` オプションが利用可能。
Python API	`create_detector(backend, device)` → `predict_path(image_path)` が `probability_ai` とラベルを含む結果オブジェクトを返す。
Web UI	`web` extra をインストールして `aidetect serve` を実行すると Gradio インターフェースが起動。
FastAPI server	`api` extra をインストールして `aidetect api …` を実行するとシンプルな HTTP エンドポイント（`/detect`）が提供される。
Benchmarking utilities	フォルダー、Hugging Face データセット、ローカル Tiny‑GenImage シャードを評価するコマンド。CSV/JSON で精度、F1、ROC‑AUC、画像ごとのスコア、閾値スイープを出力。
Threshold calibration	キャリブレーション用データでバランス精度や F1 などの指標に合わせて決定閾値を最適化できる組み込みサポート。
Reproducible reports	すべてのコマンドは決定的な JSON レポートを出力でき、モデルメタデータ、データセット情報、画像ごとの予測を含む。
Lightweight install	純粋な Python パッケージで、Python 3.10+ に対応。評価、HF バックエンド、API、UI 用のオプション extras がある。

How to Install & Run (quick start)

# Clone the repo and set up a virtual environment
python -m venv .venv
source .venv/bin/activate
pip install -e .               # core package
pip install -e '.[web]'        # optional Gradio UI (or .[api] for FastAPI)

デフォルトモデルで単一画像を検出:

aidetect detect image.jpg

フォルダー全体を検出し CSV レポートを書き出す:

aidetect detect ./images --csv report.csv

Web UI を起動:

aidetect serve   # then open http://localhost:7860

What the Output Means

probability_ai – [0, 1] の浮動小数点数で、画像が AI 生成であるとモデルが推定した確率を表す。
label – デフォルトでは probability_ai >= 0.5 → ai、それ以外は human。
0.45‑0.55 付近のスコアは 弱い証拠 とみなされ、重要な判断では複数バックエンドを確認することが推奨されている。

Benchmarks & Performance (as reported)

小規模な 3 画像サニティチェックでは、精度は 33 %（UnivFD）から 67 %（他の多くのバックエンド）まで。
200 画像の校正済み Tiny‑GenImage スプリットでは、UnivFD が閾値調整後に 76 % の精度、Hybrid が約 67 % を記録。
最も高性能な構成 ultra（Hybrid‑plus + Sentry）は、400 画像テストセットで ≈ 86 % 精度 / 0.86 バランス精度 / 0.85 F1 / 0.92 ROC‑AUC を達成。
ジェネレータ別の性能差も報告されており、Midjourney と実画像の区別は約 84 % の精度、古いモデル VQDM は約 78 % とやや低い。

Limitations (explicitly listed)

どの検出器も万能ではない ― 新しいジェネレータ、強い再圧縮、スクリーンショット、クロップ、アップスケール、対抗的編集は検出を破壊し得る。
ツールは画像全体の確率しか提供せず、編集領域のローカライズは行わない。
ベンチマークはローカル・小規模であり、データ分布が異なる場合は実世界での信頼性を過大評価する可能性がある。

When to Use Which Backend

Backend	When to Pick It
`univfd`	最もシンプルで依存関係が少ないベースラインが欲しいとき。
`sentry‑convnext‑small`	エンセンブルせずに単一の強力な外部検出器が必要なとき。
`ultra`	すぐに最高の実用精度を得たいとき（内部＋外部エンセンブル）。
`nonescape‑mini`	追加シグナルとして有用。エンセンブルに組み込める。
`hf`	カスタムの Hugging Face 画像分類 checkpoint を試したいとき。
`hybrid` / `hybrid‑plus`	UnivFD と HF クラスifier をブレンドしたいとき（重み調整可能）。

Citation

研究で本ツールを使用する場合は、README に記載の通り UniversalFakeDetect 論文（CVPR 2023）を引用してください。

Bottom Line

AI Image Detector は、画像の合成可能性を推定する実用的で文書化されたユーティリティです。最先端の検出器を複数統合し、簡単な CLI、API、Web インターフェースを提供し、ベンチマークと閾値キャリブレーション機能も内蔵しています。自分でモデルを訓練する必要はありません。