google-research/augmix

解決する課題

AugMixは、画像分類モデルの堅牢性と不確実性のキャリブレーションを向上させるために設計されています。これは、モデルがトレーニングデータから破損したり分布がシフトしたりした画像（例：ImageNet-C）に遭遇したときに失敗するという問題に対処します。

仕組み

この技術は、1つの画像の複数の拡張バージョンを混合し、これらの拡張された画像の一貫した埋め込みを強制します。Jensen-Shannon Divergence (JSD) 一貫性損失を使用して、入力画像の2つの異なる拡張バージョンとクリーンな画像自体の間で、モデルの予測が一貫性を保つようにします。

対象者

拡張プロセスに対して広範なハイパーパラメータ調整を必要とせずに、画像破損に対するモデルの回復力を高めたい、コンピュータビジョンと画像分類に焦点を当てた機械学習エンジニアおよび研究者。

ハイライト

• プラグアンドプレイ: random cropping や CutOut のような手法に通常伴う手動調整を必要としません。
• 最先端のパフォーマンス: ImageNet-C や ImageNet-P などのベンチマークで高い堅牢性と不確実性推定を実現します。
• リファレンス実装: 拡張手法の NumPy 実装と、CIFAR および ImageNet データセット用の PyTorch 再実装を提供します。
• 一貫性損失: 同じ画像の異なる拡張バージョン間で予測を安定させるために JSD 損失を採用しています。