mostly-ai/mostlyai

解决的问题

它提供了一种创建现有数据集的高保真、隐私安全合成版本的方法。这使得组织能够在不暴露敏感原始信息的情况下，将数据用于测试、分析或训练，同时保持原始数据的统计特性。

运作方式

该 SDK 允许用户针对表格或语言数据训练“生成器”(Generators)。这些生成器随后可用于产生合成数据集或探测特定样本。它支持两种操作模式：LOCAL（在用户自己的计算资源上进行训练与生成）和 CLIENT（连接到远程端点）。

在技术上，它根据数据类型采用多种模型：

• 表格数据: 使用 TabularARGN 以获得高效率与高质量。
• 图形关系: 使用基于 DNN 的匹配。
• 文本数据: 使用从头开始训练的基本 LSTM 或从 Hugging Face Hub 微调的语言模型。

目标对象

需要为开发或共享目的产生真实合成数据，同时遵守隐私限制的数据科学家、机器学习工程师及隐私官。

特色亮点

• 广泛的数据支持: 处理混合类型数据（类别、数值、地理空间、文本）、多表结构与时间序列。
• 隐私控制: 包含对差分隐私 (Differential Privacy) 的支持，以及隐私与保真度的质量指标。
• 灵活采样: 支持上采样、条件模拟（基于特定字段值生成数据）以及对代表性不足的区段进行重新平衡。
• 自动化 QA: 生成深入的 HTML 报告，用于数据质量的可视化分析。
• 整合性: 包含各种数据库（PostgreSQL, MySQL, Oracle, MS SQL）与云端存储（Google BigQuery）的连接器。