chiefautism/privacy-parser

解決する課題

Privacy Parserは、テキストから個人識別情報（PII）を識別・抽出し、何がどこにあり、どのカテゴリに属するかについての構造化データを提供します。従来のツールは機密情報を単に編集するだけですが、このプロジェクトでは、コンプライアンス（GDPR/CCPAなど）やデータセット作成のために、データのインベントリ、監査、ラベル付けが可能です。

仕組み

OpenAIのPrivacy Filterの1.5Bパラメータモデルを利用し、BIOESロジットを生成します。これらはビタビ復号とスパン結合を経てエンティティを識別します。その後、正規表現ベースの「バックストップ」を適用して、モデルが見逃す可能性のある特定のパターン（秘密情報やアカウント番号など）を捕捉し、精度を高めます。

対象ユーザー

ログの監査、データエクスポートの保護、またはコードベースやデータセットへの機密情報漏洩を防ぐためのコミット前チェックが必要な開発者やデータエンジニア向けに設計されています。

ハイライト

• 3つのバックエンドを提供：高速な正規表現のみのパーサー、生モデルベースのパーサー、最適な精度のためのハイブリッドアプローチ。
• 個人名、メール、電話番号、住所、アカウント番号、秘密情報を含む8つのPIIカテゴリをサポート。
• ラベル、開始/終了文字インデックス、抽出されたテキストを含む構造化出力（JSON）を提供。
• テキストファイルまたはパイプ入力の迅速な処理のためのCLIツールを含む。