chiefautism/privacy-parser

해결하는 문제

Privacy Parser는 텍스트에서 개인 식별 정보(PII)를 식별하고 추출하여 발견된 내용, 위치 및 범주에 대한 구조화된 데이터를 제공합니다. 기존 도구는 민감한 정보를 단순히 편집하는 반면, 이 프로젝트는 규정 준수(GDPR/CCPA 등) 또는 데이터셋 생성을 위해 데이터를 인벤토리, 감사 또는 라벨링할 수 있게 합니다.

작동 방식

OpenAI의 Privacy Filter에서 제공하는 1.5B 파라미터 모델을 활용하여 BIOES 로짓을 생성합니다. 이는 비터비 디코딩과 스팬 병합을 통해 엔티티를 식별합니다. 그런 다음 정규식 기반 '백스톱'을 적용하여 모델이 놓칠 수 있는 특정 패턴(비밀번호나 계좌 번호 등)을 포착하여 정확도를 높입니다.

대상 사용자

로그 감사, 데이터 내보내기 보호, 또는 코드베이스나 데이터셋에 민감한 정보가 유출되는 것을 방지하기 위한 커밋 전 검사가 필요한 개발자와 데이터 엔지니어를 위해 설계되었습니다.

주요 기능

• 빠른 정규식 전용 파서, 원시 모델 기반 파서, 최적의 정확성을 위한 하이브리드 접근 방식의 세 가지 백엔드를 제공합니다.
• 개인 이름, 이메일, 전화번호, 주소, 계좌 번호 및 비밀번호를 포함한 8가지 PII 범주를 지원합니다.
• 라벨, 시작/끝 문자 인덱스 및 추출된 텍스트를 포함한 구조화된 출력(JSON)을 제공합니다.
• 텍스트 파일 또는 파이프 입력을 빠르게 처리하기 위한 CLI 도구를 포함합니다.