mostly-ai/mostlyai

해결하는 문제

기존 데이터셋의 고충실도 및 개인정보 보호가 보장된 합성 버전을 생성하는 방법을 제공합니다. 이를 통해 조직은 민감한 원본 정보를 노출하지 않고도 테스트, 분석 또는 학습에 데이터를 사용할 수 있으며, 원본 데이터의 통계적 특성을 유지할 수 있습니다.

작동 방식

이 SDK를 사용하면 사용자는 테이블 또는 언어 데이터에 대해 "제너레이터(Generators)"를 학습시킬 수 있습니다. 이러한 제너레이터를 사용하여 합성 데이터셋을 생성하거나 특정 샘플을 탐색할 수 있습니다. LOCAL(사용자 자신의 컴퓨팅 리소스에서 학습 및 생성)과 CLIENT(원격 엔드포인트에 연결)의 두 가지 운영 모드를 지원합니다.

기술적으로는 데이터에 따라 다음과 같은 모델 유형을 사용합니다:

• 테이블 데이터: 고효율 및 고품질을 위해 TabularARGN 사용.
• 그래프 관계: DNN 기반 매칭 사용.
• 텍스트 데이터: 처음부터 학습한 기본 LSTM 또는 Hugging Face Hub에서 미세 조정된 언어 모델 사용.

대상 사용자

개인정보 보호 제약을 준수하면서 개발 또는 공유 목적으로 현실적인 합성 데이터를 생성해야 하는 데이터 과학자, ML 엔지니어 및 개인정보 보호 담당자.

주요 특징

• 광범위한 데이터 지원: 혼합형 데이터(범주형, 수치형, 지리공간형, 텍스트), 다중 테이블 구조 및 시계열 데이터를 처리합니다.
• 개인정보 보호 제어: 차분 프라이버시(Differential Privacy) 지원과 개인정보 보호 및 충실도에 대한 품질 지표를 포함합니다.
• 유연한 샘플링: 업샘플링, 조건부 시뮬레이션(특정 열 값을 기반으로 데이터 생성) 및 과소 대표된 세그먼트의 재조정을 지원합니다.
• 자동화된 QA: 데이터 품질의 시각적 분석을 위한 상세한 HTML 보고서를 생성합니다.
• 통합: 다양한 데이터베이스(PostgreSQL, MySQL, Oracle, MS SQL) 및 클라우드 스토리지(Google BigQuery)용 커넥터를 포함합니다.