Hugging Face と JFrog のパートナーシップによる AI モデル セキュリティの強化

Hugging Face は JFrog と提携し、Hugging Face Hub に JFrog スキャナーを統合しました。これにより、モデル重みに埋め込まれた悪意のあるコードを検出するプラットフォームの能力が向上します。この提携は、誤検出を減らし、検出可能な脅威の範囲を拡大することにより、機械学習コミュニティに対してより透明で安全な環境を提供することを目的としています。

偽陽性を減らすための高度なコード分析

JFrog スキャナーは、単純なパターンマッチングを超えることで既存のセキュリティ対策を向上させます。Hugging Face の現在の picklescan ツールはモジュール名に対するパターンマッチングを行いますが、特定の関数またはモジュールの使用が悪意のあるものか、無害な開発者の実用性であるかを常に判断できるわけではありません。

JFrog スキャナーは、モデル重み内のコードを解析し分析することで潜在的な悪意のある使用を確認することによりこの問題に対処します。このより深い分析により、プラットフォームは無害なコードと実際のセキュリティ脅威をより正確に区別できるようになり、その結果、Hub 上の誤検出の数を減らすことができます。

シリアル化フォーマット全体にわたる脅威検出の拡大

モデルのセキュリティは重要です。なぜなら、重み、構成、データ構造を保存および転送するために使用されるシリアル化フォーマットは、エクスプロイトに対して脆弱になる可能性があるからです。たとえば、pickle などのフォーマットは、デシリアライズ時または推論時に任意のコード実行を許可することがあります。

JFrog の統合により、プラットフォームのセキュリティカバレッジは複数の悪用可能なフォーマットを含むように拡張されます。具体的には、JFrog スキャナーは次のフォーマットでのエクスプロイトを検出できます：

• Pickle files: 任意のコード実行に対する保護。
• Keras Lambda layers: 任意のコード実行を許可するエクスプロイトの検出。
• Additional file formats: スキャナーは、JFrog の Model Threats research で詳しく説明されているように、より幅広いフォーマットをカバーします。

自動統合と Hub 全体へのデプロイ

Hugging Face Hub 上のすべての公開モデルリポジトリは、ファイルがプラットフォームにプッシュされるとすぐに JFrog によって自動的にスキャンされます。この統合には、ユーザー側での操作は必要ありません。

Hub が何百万ものモデルリポジトリをホストしているため、ロールアウトは段階的に行われます。Hugging Face はすでに何億ものファイルをスキャンしており、コミュニティが安全かつ摩擦なくモデルを共有できるようにしています。