Meta Stella アプリ v273.0.0.21 顔認識分析

Meta Stella アプリには休止中の顔認識パイプラインが含まれています

Meta のスマートグラス用 Stella コンパニオンアプリ（バージョン 273.0.0.21、パッケージ com.facebook.stella）の分析により、完全に組み立てられた機能的だが休止中のオンデバイス顔認識スタックが明らかになりました。通常のユーザーが標準アカウントで使用する際にはシステムはアクティブではありませんが、個人を検出、指紋化、識別するための完全な機構がビルドに含まれています。

デバイス上のバイオメトリックモデルスタック

このアプリは、Meta の NMLML アセット配信システムを通じて配布される、3 つの特定の ExecuTorch（.pte）モデルを搭載しています。これらのモデルは、生画像からバイオメトリック指紋までのフルパイプラインを可能にします。

アセット名 ファイル サイズ 機能
android_facerec_scrfd SCRFD.pte 3.4 MB 画像内の顔検出
android_facerec_kps_aligner KPSAligner.pte 117 KB 顔の切り抜きとアラインメント
android_facerec_sface SFace.pte 96 MB 2048 次元のバイオメトリック埋め込みの生成

これらのモデルは、SCRFD（InsightFace）や SFace を含むオープンソースアーキテクチャに基づいています。特に、Meta の SFace 実装はサイズが大きく（96 MB）標準の公開リファレンスよりも高次元（2048）の出力を生成します。

ベクトル類似性インデックスとストレージスキーマ

認識システムは、ローカル SQLite データベース（/data/user/0/com.facebook.stella/files/rldrive/person_profiles/objects.db）を利用します。このデータベースは sqlite-vec 拡張機能（vec0）を使用して、バイオメトリック指紋に対するコサイン類似度検索を実行します。

データベーススキーマ

  • person テーブル: nodeid、name、uri、および blob を格納します。
  • face テーブル: mediaPath を personUri にマッピングします。
  • face_mediaPath_vec 仮想テーブル: コサイン距離メトリックを使用して 2048 個の浮動小数点バイオメトリック指紋を格納し、オンデバイス SFace モデルの出力と一致します。

未認識顔の処理

パイプラインがローカルインデックスと一致しない顔に遭遇した場合、データは /data/user/0/com.facebook.stella/files/NameTagsPending/ に書き込まれます。このディレクトリは、未認識の顔ごとに 2 つのファイルを保存します：

  1. 切り抜かれアラインされた顔画像を含む .jpg ファイル。
  2. 2048 個の数値からなる SFace 指紋（8,192 バイト、L2 正規化された float32）を含む .emb ファイル。

この仕組みにより、後でラベルが提供されれば遡って識別できるバイオメトリック記録を保存することが可能になります。

ユーザーインターフェースと通知サーフェス

アプリには nametags_recognition という完全に設定された Android 通知チャネルが含まれています。マッチが見つかると、システムはタイトル「人物が認識されました」、本文「認識された [Name]」という高重要度の通知をトリガーします。

UI コンポーネント

  • Deep Linking: 通知には contentIntent が含まれ、fb-viewapp://name_tags?face_id=<face_id> へディープリンクし、人物プロフィール画面を開くことを意図しています。
  • Connections Widget: APK には「Connections」カードが含まれ、ユーザーに「出会った人々を覚えて新しいつながりを作りましょう」と促すテキストが表示されます。

これらのコンポーネントにもかかわらず、バージョン 273 のナビゲーショングラフには対象のプロフィール画面が存在せず、標準アカウントで未登録のユーザーには「Connections」カードは表示されません。

コミュニティの見解とプライバシー懸念

これらの発見に関する技術的議論は、特に明示的な同意なしにバイオメトリックデータを収集することに関する重大なプライバシーおよび法的懸念を強調しています。

「日常生活で人々とのすべてのやり取りを継続的に記録することが、二者同意が必要な州でどのように受け入れられるか、理解できません。」

他の貢献者は、イリノイ州のバイオメトリック情報プライバシー法（BIPA）に基づく法的挑戦の可能性や、リアルタイムで見知らぬ人を特定できるシステムの一般的な不気味さを指摘しました。一部のユーザーは、このような機能は偶然に出荷されるものではなく、現在本番環境で有効かどうかに関わらず、エンジニアリングへの投資であると示唆しました。

Sources