moj-analytical-services/splink

解决的问题

Splink 专为概率记录链接和去重而设计。它解决了在不同数据集之间或单个数据集中，当记录缺乏唯一标识符（如社会保障号码或唯一 ID）时，识别和链接指向同一实体（如人或公司）的记录的问题。

工作原理

Splink 使用 Fellegi-Sunter 统计模型进行记录链接。它采用无监督学习，这意味着无需预先标记的训练数据即可估计链接模型的参数。它支持模糊匹配逻辑和词频调整以提高准确性。为保持大规模性能，可使用 DuckDB 进行本地处理，或使用 Spark 和 PostgreSQL 作为大数据后端。

适用人群

政府、学术界和私营部门的数据科学家和分析师，需要在没有唯一标识符的情况下对大型数据集进行去重或跨多个来源链接记录。

主要亮点

• 高性能：可在笔记本电脑上约一分钟内链接一百万条记录。
• 可扩展性：支持 Spark 等后端，可处理超过一亿条记录。
• 无监督学习：模型训练无需训练数据。
• 交互式可视化：包含一系列工具，帮助用户诊断和理解其链接模型。
• 模糊匹配：支持自定义模糊匹配逻辑和词频调整。