facebookresearch/AugLy

해결하는 문제

AugLy는 AI 모델의 강건성을 향상시키기 위해 다양한 실질적인 데이터 증강의 필요성을 해결합니다. 특히 '인터넷 사용자' 스타일의 수정—예를 들어 이미지를 미모로 변환하거나 소셜 미디어 스크린샷을 추가하는 것—에 초점을 맞추며, 이러한 수정은 혐오 발언 탐지나 저작권 침해 추적과 같은 실제 시나리오에서 모델의 실패를 유발하는 경우가 많습니다.

작동 방식

이 라이브러리는 음성, 이미지, 텍스트, 동영상의 네 가지 모달리티에 걸쳐 100개 이상의 증강 기능을 제공합니다. 함수 기반 및 클래스 기반 변환과 조합 연산자를 활용하여 데이터를 수정합니다. 사용자는 적용된 변환에 대한 메타데이터(변경 강도 등)를 추적할 수도 있습니다.

대상 사용자

모델 훈련 또는 강건성 평가에 종사하는 머신러닝 엔지니어 및 연구자, 특히 콘텐츠 모니터링, 복사 탐지, 저작권 침해와 관련된 작업을 하는 사람들에게 적합합니다.

주요 특징

• 다중 모달리티 지원: 음성, 이미지, 텍스트, 동영상을 하나의 라이브러리에서 모두 지원합니다.
• 인터넷 기반 현실적인 증강: 미모 생성, 이모지 오버레이, 소셜 미디어 스크린샷 시뮬레이션 등 특수 도구 포함.
• 강건성 테스트: 기존 모델의 강건성 격차를 식별하는 데 유용합니다.
• 확장 가능한 아키텍처: 메타데이터 추적 기능을 갖춘 함수 기반 및 클래스 기반 변환 제공.