chiefautism/privacy-parser

它解决的问题

隐私解析器从文本中识别并提取个人身份信息（PII），提供关于发现内容、位置及类别的结构化数据。传统工具通常直接编辑敏感信息，而该项目允许您为合规（如GDPR/CCPA）或数据集创建进行数据清单、审计或标记。

工作原理

它利用OpenAI隐私过滤器中的1.5B参数模型，该模型生成BIOES逻辑值。这些值通过维特比解码和跨度合并处理以识别实体。然后应用基于正则表达式的“兜底”来捕获模型可能遗漏的特定模式（如机密或账号），确保更高的准确性。

适用对象

它专为需要审计日志、保护数据导出或执行提交前检查以防止敏感信息泄露到代码库或数据集中的开发人员和数据工程师设计。

亮点

• 提供三种后端：快速正则表达式解析器、基于原始模型的解析器以及用于最佳准确性的混合方法。
• 支持八种PII类别，包括个人姓名、电子邮件、电话号码、地址、账号和机密。
• 提供结构化输出（JSON），包含标签、起始/结束字符索引以及提取的文本。
• 包含CLI工具，用于快速处理文本文件或管道输入。