hcliucs/APSD

What it solves

传统的指标（如 $L_p$ norms, PSNR, 和 SSIM）通常无法准确反映人类实际如何感知图像中对抗性扰动的隐蔽性。本项目提供了一种从人为中心视角来衡量对抗性隐蔽性的方法，将数学距离指标替换为与人类感知一致的客观分数。

How it works

本项目引入了三个主要组件：

1. Subjective Assessment Protocol: 一个两步过程，人类观察者首先将扰动分类为“强”或“弱”隐蔽性，然后使用缩放灰度差异图 (SGDM) 来提供细粒度的评分。
2. APSD Dataset: 一个大规模的基准测试，包含 12 种不同攻击方法（包括基于梯度、基于优化和生成模型）的 10,586 对干净-对抗性图像对，并附带 6 0 人类观察者的平均意见分数 (MOS)。
3. A2SM Model: 一个基于注意力的客观模型，通过结合全局和局部特征，使用自注意力、交叉注意力以及空间注意力机制来预测隐蔽性分数，从而模仿人类的评分习惯。

Who it’s for

从事对抗性机器学习、图像质量评估和视觉模型安全性的研究人员和开发者，他们需要一种方法来评估攻击对人类观察者而言有多么“不可见”。

Highlights

• Human-aligned evaluation: 使用两步协议来捕捉细微且明显的扰动。 n
• Comprehensive dataset: 涵盖 12 种攻击，属于 5 种攻击家族（例如 FGSM, PGD, AdvGAN）。
• High accuracy: A2SM 模型与人类视觉系统 (HVS) 分数达成高度一致性 (0.984 PLCC / 0.978 SROCC)。
• Large scale: 包含从 400 张参考图像生成的超过 10,000 个对抗性样本。