facebookresearch/AugLy

何を解決するか

AugLyは、AIモデルの堅牢性を向上させるために、多様で現実的なデータ拡張の必要性に対応します。特に「インターネットユーザー」スタイルの変更——たとえば画像をミームに変換したり、SNSスクリーンショットを追加したりするような操作——に注目しており、これらはハートスピーチ検出や著作権侵害の追跡といった現実世界のシナリオでモデルの失敗を引き起こすことがよくあります。

仕組み

このライブラリは、音声、画像、テキスト、動画の4つのモダリティにわたって100以上の拡張を提供します。関数ベースとクラスベースの変換、および合成演算子を組み合わせてデータを変更します。ユーザーは適用された変換に関するメタデータ（変更の強度など）を追跡することもできます。

対象ユーザー

機械学習エンジニアや研究者で、モデルのトレーニングや堅牢性評価に取り組んでいる方々、特にコンテンツモデレーション、コピー検出、著作権侵害対策に関わる方々に最適です。

特徴

• マルチモーダル対応：音声、画像、テキスト、動画を1つのライブラリでカバー。
• インターネットにリアルな拡張：ミーム作成、絵文字のオーバーレイ、SNSスクリーンショットのシミュレーションなど、特定のツールを含む。
• 堅牢性テスト：既存モデルの堅牢性のギャップを特定するのに役立ちます。
• 拡張可能なアーキテクチャ：メタデータ追跡を備えた関数ベースとクラスベースの変換を提供。