Hugging Face の Presidio を用いた PII 検出実験

Hugging Face は、オープンソースの PII 検出ツールである Microsoft Presidio を Dataset Hub に統合する実験を行っており、ホストされたデータセットに含まれる個人識別情報（PII）の有無に関する自動レポートを提供しています。この取り組みは透明性を高め、機械学習実務者が未文書化の機密データでモデルを訓練することを防ぐことを目的としています。

機械学習データセットにおける PII の蔓延と種類

未文書化の個人情報は、機械学習データセットにおいて繰り返し問題となっています。Hugging Face は、PII が一般的に見られるデータセットを主に二つのカテゴリに分類しています。

注釈付き PII データセット: これらは PII 検出およびマスキングモデルの訓練を目的に特別に作成されたデータセットで、オンラインコンテンツのモデレーションや匿名化データベースの作成といったタスクに不可欠です。
事前学習データセット: これらは通常、ウェブクロールから得られるテラバイト規模の巨大データセットです。フィルタリングの努力にもかかわらず、データ量が膨大なため、少量の機密情報が検出モデルをすり抜けてしまうことがあります。

PII のプライバシーとパフォーマンスリスク

訓練データに PII が含まれることは、倫理的リスクと技術的リスクの両方をもたらします。プライバシー上の懸念は最重要で、PII は個人に関する機密情報を推測するために利用され得ます。技術的観点からは、PII がモデルの性能を低下させたりバイアスを導入したりする可能性があります。例えば、モデルが特定の PII と特定の結果を結び付けて学習したり、推論時に訓練データから意図せず PII を生成したりすることがあります。

Dataset Hub での Presidio レポートの実装

これらのリスクを軽減するため、Hugging Face は Presidio を活用した機能のテストを行っています。Presidio は機械学習モデルと検出パターンを組み合わせて PII を特定するツールです。

実務者とデータセット所有者への有用性

Presidio レポートはデータセット内の PII の存在を推定し、主に二つの利用ケースを可能にします。

機械学習実務者向け: ユーザーはデータセットを訓練に使用すべきか、あるいは Presidio などのツールでさらなるフィルタリングが必要かを判断でき、情報に基づいた意思決定が可能です。
データセット所有者向け: 作成者はこれらのレポートを利用して、データセットを公開する前に自らの PII フィルタリングプロセスの有効性を検証できます。

検出例

C4 事前学習データセットを使用したテストケースでは、Presidio レポートが少量のメールアドレスやその他の機密 PII を検出でき、大規模データにおけるリスクを指摘するツールの能力を示しました。

コンプライアンスと倫理的枠組み

この取り組みは、透明性と倫理的な AI 開発への広範なコミットメントの一環です。Hugging Face は、GDPR コンプライアンスに関する CNIL（Commission Nationale de l'Informatique et des Libertés）の指針と、AI 文脈における個人データ問題の取り扱いを認識しています。