OpenAI Privacy Filter: スケーラブルなPII検出ウェブアプリの構築

OpenAIはPrivacy Filterをリリースしました。これは、8つの異なるカテゴリにわたる機密テキストを識別およびラベル付けするように設計されたオープンソースの個人を特定できる情報（PII）検出器です。このモデルは、128kトークンのコンテキストを単一のフォワードパスで処理できる能力により重要であり、テキストのチャンク分割の必要性をなくし、正確なスパンオフセットを確保します。

Privacy Filter モデル仕様

Privacy Filterは、Apache 2.0ライセンスの下でリリースされた1.5Bパラメーターモデルで、アクティブパラメータは50Mです。このモデルは、PII-Masking-300kベンチマークにおいて最先端の性能を達成しています。

テクニカル機能

• コンテキストウィンドウ: 128,000トークン。
• PIIカテゴリ: このモデルは8つのカテゴリを検出します: private_person, private_address, private_email, private_phone, private_url, private_date, account_number, secret。
• 効率: このモデルは単一のフォワードパスでラベリングを行い、長いドキュメントにおけるスパン境界とオフセットの整合性を維持します。

gradio.Server を使用した実装例

Hugging Faceは、gradio.Serverを使用して3つのスケーラブルなウェブアプリケーションを構築することで、このモデルの有用性を示しました。このフレームワークは、開発者がカスタムHTML/JSフロントエンドとGradioのバックエンド機能（ZeroGPUの割り当てやリクエストキューイングなど）を組み合わせることを可能にします。

1. ドキュメントプライバシーエクスプローラー

このアプリケーションでは、ユーザーはPDFまたはDOCXファイルをアップロードし、その場でPIIスパンをハイライトできます。

• 技術的アプローチ: ドキュメント全体は128kコンテキストの単一パスで処理されます。長いあいまいなテキストランにおいてクリーンなスパン境界を確保するために、BIOESデコードが使用されます。
• インフラストラクチャ: gr.Serverはリーダービューを単一のHTMLファイルとして提供し、キューイングされた@server.apiエンドポイントを介してモデルを公開します。これにより、同時アップロードがシリアル化され、ZeroGPUを介して処理されます。

2. イメージ匿名化ツール

このツールは、機密データの上に黒いバーを配置することにより、画像やスクリーンショット（例：Slackスレッドやレシート）からPIIを削除します。

• 技術的アプローチ: システムはTesseractを使用してOCRを行い、単語ごとのバウンディングボックスを生成します。バックエンドはこれらのボックスに文字オフセットをマッピングし、再構成されたテキストに対してPrivacy Filterを実行します。検出されたスパンはその後、削除のためにピクセルの長方形に変換されます。
• インフラストラクチャ: カスタムの<canvas>フロントエンドが、トグル、ドラッグ、または手動で削除バーを描画するなどのインタラクティブな要素を処理し、@server.apiエンドポイントがピクセル座標を提供します。

3. SmartRedact Paste

これは、公開された削除版と非公開の表示版という2つの別々のURLを生成する、削除に焦点を当てたpastebinです。

• 技術的アプローチ: 検出されたPIIスパンは<CATEGORY>プレースホルダー（例：<PRIVATE_EMAIL>）に置き換えられます。モデルの多言語機能により、スペイン語、フランス語、中国語、ヒンディー語のテキストを変更せずに処理できます。
• インフラストラクチャ: gr.ServerがFastAPI上に構築されているため、アプリはモデル負荷の大きい削除プロセスに@server.apiを、トークンゲートされた表示ページのためにプレーンな@server.getルートを使用します。

スケーラブルなAIアプリのためのアーキテクチャパターン

これらのアプリケーションにおけるPrivacy Filterの統合は、キューイングされたコンピューティングと静的ルーティングの間で一貫したアーキテクチャの分割に従っています：

Application	Queued Compute (@server.api)	Plain FastAPI Routes
ドキュメントプライバシーエクスプローラー	テキスト抽出、PII検出、および統計	カスタムリーダーHTMLビューの提供
イメージ匿名化ツール	OCR、PII検出、およびピクセルボックスマッピング	キャンバスUIと例の提供
SmartRedact Paste	PII検出と削除	公開およびトークンゲートされた表示ページ

@server.apiを使用することで、開発者はGradioのキューとZeroGPU上の@spaces.GPUコンポジションにアクセスできます。一方、プレーンなFastAPIルートはHTML配信や辞書検索などの軽量タスクを処理します。