scu-zjz/IMDLBenCo

[NeurIPS'24 Spotlight] A comprehensive benchmark & codebase for Image manipulation detection/localization.

解決的問題

IMDL-BenCo 提供了一個影像篡改檢測與定位（IMDL）的標準化框架。它解決了缺乏全面、模組化程式碼庫與基準，無法識別影像是否被篡改，並在像素層級精確定位篡改區域的問題。

如何運作

此專案將 IMDL 流程分解為標準化、可重用的元件。這種模組化方法讓研究人員能輕鬆自訂並建構模型建構流程。程式碼庫包含多個最尖端（SOTA）模型的訓練程式碼，建立用於比較不同鑑識技術的全面基準。

適用對象

從事檢測與定位影像偽造（包括AI生成內容與傳統影像編輯）的電腦視覺研究人員與鑑識分析師。

主要亮點

  • 模組化架構：將框架分解為可重用元件，以提升程式碼效率與客製化能力。
  • 全面的基準：包含多種 SOTA 模型的實作，為該領域提供可靠的基線。
  • PyPI 發布：可透過 pip install imdlbenco 輕鬆安裝與整合的 Python 套件。
  • 學術認可：獲 NeurIPS 2024 Track Datasets and Benchmarks 接受為 Spotlight 論文。

相關

  • 專案
    NaturalIntelligence/imglab

    一個支援 COCO 與 Pascal VOC 等格式的網頁式影像標註工具，用於建立物件偵測器的訓練資料。

  • 專案
    lingxitong/MIL_BASELINE

    一個用於計算病理學中 Multiple Instance Learning (MIL) 的統一庫，提供標準化框架，以實現並比較多種 MIL 架構，適用於全切片影像分析。

  • 專案
    rafal-qa/slopo

    Slopo 是一個基於 Python 的 CLI 工具，它使用程式碼嵌入模型（Jina AI, Voyage AI, 或本地 Ollama）來尋找程式碼庫中語義相似的程式碼片段。它會索引原始碼檔案，計算向量嵌入，將相似的片段分組，並輸出 Markdown 或精簡的報告，供人為審查或 AI 編碼代理使用。安裝方式為 `uv tool install slopo`；配置方式為 `slopo init`。該工具針對隱藏的、非完全相同的程式碼重複，以協助重構並降低 AI token 使用量。

  • 專案
    bcmi/Image-Harmonization-Dataset-iHarmony4

    提供大規模影像調和資料集（iHarmony4）與 DoveNet 的 PyTorch 實作，協助模型讓插入物件在合成影像中看起來更自然。

  • 專案
    mjkwon2021/CAT-Net

    一種透過分析 JPEG 壓縮偽影來檢測與定位影像篡改的網路，為影像鑑識研究提供工具。