Hugging Face と Protect AI のセキュリティパートナーシップ：6か月間の進捗報告

Hugging Face と Protect AI は 2024 年 10 月に提携し、Protect AI の Guardian スキャン技術を Hugging Face Hub に統合しました。このパートナーシップは、開発者にインラインのセキュリティアラートと Insights DB を通じた包括的な脆弱性レポートを提供することで、機械学習 (ML) サプライチェーンの保護を目指します。

スキャン規模とインパクト

2025 年 4 月 1 日時点で、パートナーシップは以下の規模でモデルセキュリティスキャンを実施しています。

  • スキャンされた総モデル数: 447 万件のユニークなモデルバージョン（1.41 百万リポジトリ）
  • 検出された脅威: 51,700 モデルで 352,000 件の安全でないまたは疑わしい問題が見つかりました
  • パフォーマンス: 過去 30 日間で 2.26 億件のリクエストを処理し、平均応答時間は 7.94 ms でした

新しい脅威検出モジュール

Protect AI は、カバーするモデルファイル形式の範囲を拡大し、洗練された難読化手法を検出するために、4 つの新しい検出モジュールをリリースしました。

  1. PAIT-ARV-100: ロード時にファイルシステムへ書き込むことができるアーカイブスリップを検出
  2. PAIT-JOBLIB-101: ロード時に Joblib モデルで疑わしいコード実行を検出
  3. PAIT-TF-200: TensorFlow SavedModel 内のアーキテクチャ的バックドアを特定
  4. PAIT-LMAFL-300: Llamafile 形式で推論時に悪意あるコード実行を検出

さらに、Guardian は Keras における高深刻度 CVE-2025-1550 脆弱性も検出できるようになりました。

ゼロトラストアプローチによるモデルセキュリティ

Guardian はゼロトラストアプローチを採用し、ユーザーの意図に関わらず任意コード実行を本質的に危険とみなします。この戦略は、攻撃者が圧縮、エンコード、シリアライズといった難読化手法を用いて、無害に見えるスクリプトやフレームワーク拡張コンポーネントに悪意あるペイロードを隠すケースが多いために必要です。InsightsDB 上で実行リスクを「疑わしい」とフラグ付けすることで、単純なペイロード検査だけでは検出できないリスクを Guardian が軽減します。

ML モデルにおける共通攻撃テーマ

huntr バグバウンティプログラム（200 件以上のレポート提供）と研究を通じて、Protect AI は以下のような繰り返し見られる攻撃ベクトルを特定しました。

ライブラリ依存型攻撃チェーン

これらの攻撃は、ユーザー環境に存在する一般的な ML ライブラリ（例: PyTorch、Numpy、Pandas）の関数を悪用します。影響はライブラリの普及度に比例し、たとえば PyTorch の torchvision.io 関数は被害者のシステム上でファイルの上書きや削除に利用され得ます。

ペイロード難読化

攻撃者は圧縮やシリアライズを利用してスキャナを回避します。Joblib や Keras といった形式は圧縮ペイロードや入れ子アーカイブを埋め込むことができ、TarSlip や ZipSlip といった脆弱性を通じてサービス拒否や任意コード実行（パストラバーサル）につながります。

フレームワーク拡張性脆弱性

ML フレームワークはカスタムレイヤーや設定ベースのコードロードといった機構を提供し、これが攻撃ベクトルとなります。Keras の CVE-2025-1550 は、既存のセキュリティ機能があってもカスタムレイヤーが任意コード実行に利用され得ることを示しています。

攻撃ベクトルの連鎖

高度な攻撃者は複数の脆弱性を組み合わせ（例: 難読化ペイロードとフレームワーク拡張機構の併用）て、単体では無害に見えるが複合的に深刻な侵害経路を構築します。

強化された検出機能

Guardian はこれらの脅威に対応するため、検出機能を進化させました。

  • ディープ構造分析: PyTorch と Pickle 用スキャナは、ライブラリ依存によってトリガーされる実行パスを解析し、悪意あるパターンを特定
  • マルチレイヤー分析: Guardian は入れ子アーカイブを解凍し、Joblib や Keras などの形式で隠された悪意あるコードを検出
  • フレームワーク分析: 検出モジュールは ML フレームワーク拡張機構を解析し、危険な実装をブロック。公開前に CVE-2025-1550 も検出しました
  • フォーマットサポート拡張: 現在は Joblib、TensorFlow（アーキテクチャ的バックドア用）、Llamafile をカバー

コミュニティ主導のセキュリティ

Protect AI の脅威研究は huntr（AI/ML バグバウンティプログラム）によって強化されています。17,000 人以上のセキュリティ研究者が参加し、モデルファイル脆弱性に関する 200 件以上のレポートが提供され、これらは自動的に Hugging Face Hub 上の Guardian スキャンプロセスに統合されています。

Sources