moj-analytical-services/splink

何を解決するか

Splink は確率的レコードリンクおよび重複除去のために設計されています。このツールは、ユニークな識別子（例：社会保障番号や一意のID）がない場合に、異なるデータセット間または単一のデータセット内において、同じエンティティ（人や会社など）を指すレコードを識別・リンクする問題を解決します。

動作方法

Splink はレコードリンク用の Fellegi-Sunter 統計モデルを使用しています。無監視学習を採用しており、リンクモデルのパラメータを推定するために事前にラベル付けされた学習データを必要としません。曖昧一致ロジックと語彙頻度調整をサポートし、精度を向上させます。スケーラビリティを維持するために、ローカル処理には DuckDB、大規模データ処理には Spark と PostgreSQL をバックエンドとして利用できます。

対象ユーザー

政府、学術界、民間セクターにおけるデータサイエンティストやアナリストで、ユニークな識別子がない状態で大規模なデータセットの重複除去や複数のデータソース間のレコードリンクが必要な方々。

特徴

• 高いパフォーマンス: ラップトップ上で100万件のレコードを約1分でリンク可能。
• スケーラビリティ: Spark をバックエンドとして利用し、1億件以上のレコードを処理可能。
• 無監視学習: モデルの学習に学習データを必要としない。
• インタラクティブな可視化: リンクモデルの診断と理解を支援するツールセットを提供。
• 曖昧一致: カスタムな曖昧一致ロジックと語彙頻度調整をサポート。