facebookresearch/AugLy

解決的問題

AugLy 解決了提升 AI 模型韌性所需的多樣且真實的資料增強需求。它特別針對「網路使用者」風格的修改——例如將圖片轉換成迷因或加入社群媒體截圖——這些修改經常導致模型在現實情境中失效，如仇恨言論檢測或版權侵權追蹤。

工作原理

該套件提供跨四種模態（音訊、影像、文字、影片）的 100 多種增強方法。它結合函數式與類別式轉換以及組合運算子來修改資料。使用者亦可追蹤所應用轉換的元資料，包括變更強度。

適用對象

專為從事模型訓練或韌性評估的機器學習工程師與研究人員設計，尤其適用於內容審核、抄襲檢測與版權侵權相關工作。

主要亮點

• 多模態支援：在單一套件中涵蓋音訊、影像、文字與影片。
• 網路真實增強：包含創造迷因、疊加表情符號、模擬社群媒體截圖等特定工具。
• 韌性測試：有助於識別現有模型的韌性缺口。
• 可擴展架構：提供函數式與類別式轉換，並支援元資料追蹤。