hcliucs/APSD

What it solves

$L_p$ norms, PSNR, および SSIM のような従来の指標は、画像内の敵対的摂動の隠蔽性を人間が実際にどのように感知するかを正確に反映できないことがよくあります。本プロジェクトは、人間中心の視点から敵対的隠蔽性を測定する方法を提供し、数学的な距離指標を人間の知覚に合わせた客観的スコアに置き換えます。

How it works

本プロジェクトは、主に3つのコンポーネントを紹介します：

1. Subjective Assessment Protocol: 人間による2段階の評価プロセスです。まず観察者が摂動を「強」または「弱」の隠蔽性として分類し、次に Scaled Grayscale Difference Maps (SGDM) を用いて詳細な評価を行います。
2. APSD Dataset: 12 種類の異なる攻撃手法（勾配ベース、最適化ベース、生成モデルを含む）にわたる 10,586 組のクリーンな画像と敵対的画像のペアで構成される大規模なベンチマークです。60 人の観察者による平均意見スコア (MOS) が含まれています。
3. A2SM Model: 自己アテンション、クロスアテンション、および空間アテンションメカニズムを組み合わせて、グローバルおよびローカルな特徴を結合することで、隠蔽性を予測するアテンションベースの客観的モデルです。人間のスコアリング習慣を模倣します。

Who it’s for

敵対的機械学習、画像品質評価、およびビジョンモデルのセキュリティに関する研究者や開発者で、攻撃が人間に対してどれほど「不可視」であるかを評価する方法を必要としている方々です。

Highlights

• Human-aligned evaluation: 2段階のプロトコルを使用して、微妙な摂動と明らかな摂動の両方を捉えます。
• Comprehensive dataset: 5 つの攻撃ファミリー（例：FGSM, PGD, AdvGAN）にわたる 12 種類の攻撃をカバーしています。
• High accuracy: A2SM モデルは、人間の視覚システム (HVS) スコアと高い一致性を示します (0.984 PLCC / 0.978 SROCC)。
• Large scale: 400 枚の参照画像から生成された 10,000 組以上の敵対的サンプルを含みます。