moj-analytical-services/splink

해결하는 문제

Splink는 확률적 레코드 링크 및 중복 제거를 위해 설계되었습니다. 사회보장번호나 고유 ID와 같은 고유 식별자가 없는 경우, 서로 다른 데이터셋 간 또는 단일 데이터셋 내에서 동일한 실체(예: 사람 또는 회사)를 나타내는 레코드를 식별하고 연결하는 문제를 해결합니다.

작동 방식

Splink는 레코드 링크를 위한 Fellegi-Sunter 통계 모델을 사용합니다. 비지도 학습을 활용하여, 링크 모델의 파라미터를 추정하기 위해 미리 레이블링된 학습 데이터가 필요하지 않습니다. 모호한 매칭 로직과 용어 빈도 조정을 지원하여 정확도를 향상시킵니다. 대규모 처리를 위해 DuckDB를 사용한 로컬 처리 또는 Spark와 PostgreSQL을 사용한 대규모 데이터 백엔드를 지원합니다.

대상 사용자

정부, 학계, 민간 부문의 데이터 과학자 및 분석가로서, 고유 식별자가 없는 대규모 데이터셋의 중복 제거 또는 여러 출처 간 레코드 연결이 필요한 분들.

주요 특징

• 고성능: 랩톱에서 100만 건의 레코드를 약 1분 내에 연결 가능.
• 확장성: Spark를 백엔드로 사용하여 1억 건 이상의 레코드 처리 가능.
• 비지도 학습: 모델 학습에 학습 데이터가 필요 없음.
• 인터랙티브 시각화: 링크 모델의 진단과 이해를 돕는 도구 세트 포함.
• 모호한 매칭: 사용자 정의 모호한 매칭 로직과 용어 빈도 조정 지원.