hcliucs/APSD

What it solves

傳統的指標（如 $L_p$ norms, PSNR, 和 SSIM）通常無法準確反映人類實際如何感知影像中對抗性擾動的隱蔽性。本專案提供了一種從人為中心視角來衡量對抗性隱蔽性的方法，將數學距離指標替換為與人類感知一致的客觀分數。

How it works

本專案引入了三個主要組成部分：

1. Subjective Assessment Protocol: 一個兩步驟的過程，人類觀察者首先將擾動分類為「強」或「弱」隱蔽性，然後使用縮放灰度差異圖 (SGDM) 來提供細粒度的評分。
2. APSD Dataset: 一個大規模的基準測試，包含 12 種不同攻擊方法（包括基於梯度、基於優化和生成模型）的 10,586 對乾淨-對抗性影像對，並附帶 60 位人類觀察者的平均意見分數 (MOS)。
3. A2SM Model: 一個基於注意力的客觀模型，透過結合全域和局部特徵，使用自注意力、交叉注意力以及空間注意力機制來預測隱蔽性分數，從而模仿人類的評分習慣。

Who it’s for

從事對抗性機器學習、影像品質評估和視覺模型安全性研究的開發者與研究人員，他們需要一種方法來評估攻擊對人類觀察者而言有多麼「不可見」。

Highlights

• Human-aligned evaluation: 使用兩步驟協定來捕捉細微且明顯的擾動。
• Comprehensive dataset: 涵蓋 12 種攻擊方法，分屬 5 種攻擊家族（例如 FGSM, PGD, AdvGAN）。
• High accuracy: A2SM 模型與人類視覺系統 (HVS) 分數達成高度一致性 (0.984 PLCC / 0.978 SROCC)。
• Large scale: 包含從 400 張參考影像生成的超過 10,000 個對抗性樣本。