mostly-ai/mostlyai

解決する課題

既存のデータセットから、高忠実度かつプライバシーが保護された合成バージョンを作成する方法を提供します。これにより、組織は機密性の高い元の情報を公開することなく、テスト、分析、またはトレーニングにデータを使用でき、同時にソースデータの統計的特性を維持することが可能になります。

仕組み

このSDKを使用すると、ユーザーはテーブルデータや言語データに対して「ジェネレーター (Generators)」をトレーニングできます。これらのジェネレーターを使用して、合成データセットの生成や特定のサンプルの探索を行うことができます。LOCAL（ユーザー自身の計算リソースでのトレーニングと生成）とCLIENT（リモートエンドポイントへの接続）の2つの操作モードをサポートしています。

技術的には、データに応じて以下のモデルタイプを採用しています：

• テーブルデータ: 高効率かつ高品質な TabularARGN を使用。
• グラフ関係: DNNベースのマッチングを使用。
• テキストデータ: スクラッチから構築した基本的な LSTM、または Hugging Face Hub からの微調整済み言語モデルを使用。

対象ユーザー

開発や共有の目的で、プライバシー制約を遵守しながらリアルな合成データを生成する必要があるデータサイエンティスト、MLエンジニア、およびプライバシー担当者。

ハイライト

• 幅広いデータサポート: 混合型データ（カテゴリ、数値、地理空間、テキスト）、マルチテーブル構造、時系列データを処理可能。
• プライバシー制御: 差分プライバシー (Differential Privacy) のサポートに加え、プライバシーと忠実度に関する品質指標を提供。
• 柔軟なサンプリング: アップサンプリング、条件付きシミュレーション（特定の列の値に基づいたデータ生成）、および過小評価されているセグメントの再バランスをサポート。
• 自動化されたQA: データ品質の視覚的分析のための詳細な HTML レポートを生成。
• 統合: 各種データベース（PostgreSQL, MySQL, Oracle, MS SQL）およびクラウドストレージ（Google BigQuery）へのコネクタを内蔵。