Meta Stella App 안면 인식 분석

Meta Stella App Contains Dormant Facial Recognition Pipeline

Meta의 스마트 글래스를 위한 Stella 컴패니언 앱(버전 273.0.0.21)을 분석한 결과, 완전히 조립되고 기능적이지만 현재는 비활성화된 온디바이스 안면 인식 스택이 발견되었습니다. 기능이 일반 계정에서는 활성화되어 있지 않지만, 전체 계산 및 저장 인프라의 존재는 생체 인식 식별 능력에 대한 상당한 엔지니어링 투자가 이루어졌음을 나타냅니다.

On-Device Biometric Model Stack

Stella 앱은 Meta의 NMLML 자산 전달 시스템을 통해 제공되는 세 가지 특정 ExecuTorch (.pte) 모델을 포함하고 있습니다. 이 모델들은 카메라 이미지를 생체 인식 신원으로 변환하는 엔드투엔드 프로세스를 처리합니다:

Asset Name File Size Function
android_facerec_scrfd SCRFD.pte 3.4 MB 이미지 내 안면 검출
android_facerec_kps_aligner KPSAligner.pte 117 KB 검출된 얼굴의 크롭 및 정렬
android_facerec_sface SFace.pte 96 MB 2048차원 생체 인식 임베딩 생성

이 모델들은 오픈 소스 아키텍처, 특히 SCRFD (InsightFace) 및 SFace (Zhong et al., 2021)를 기반으로 합니다. 특히 Meta의 SFace 구현은 공개된 참조 모델보다 더 크며, 더 정밀한 생체 인식 지문 생성을 위해 더 높은 차원의 출력(2048 vs. 128–512)을 생성합니다.

Vector Index and Biometric Storage

앱은 얼굴을 저장하고 매칭하기 위해 /data/user/0/com.facebook.stella/files/rldrive/person_profiles/objects.db에 위치한 로컬 데이터베이스를 사용합니다. 시스템은 벡터 유사도 검색을 가능하게 하기 위해 sqlite-vec 확장을 사용합니다.

Database Schema

  • person table: nodeid, name, 및 uri를 포함한 신원 데이터를 저장합니다.
  • face table: personUri를 통해 특정 얼굴 기록을 특정 인물물과 연결합니다.
  • face_mediaPath_vec virtual table: float[2048] 및 cosine 거리 측정 방식을 사용하는 벡터 인덱스이며, SFace 임베더의 정확한 출력 차원과 일치합니다.

The "NameTagsPending" Write Path

로컬 인덱스에서 일치하는 얼굴을 찾지 못할 경우, 파이프라인은 데이터를 /data/user/0/com.facebook.stella/files/NameTagsPending/에 기록합니다. 이 디렉토리는 인식되지 않은 모든 얼굴에 대해 두 개의 파일을 저장합니다:

  1. 크롭 및 정렬된 얼굴 이미지가 포함된 .jpg 파일.
  2. 2048개의 숫자로 구성된 SFace 생체 인식 지문이 포함된 .emb 파일.

이 기록들은 평문으로 저장되며 기기 재부팅 후에도 유지되므로, 향후 식별을 기다리는 생체 인식 기록의 데이터셋을 구축하게 됩니다.

User Interface and Notification Infrastructure

인식 파이프라인은 nametags_recognition이라는 이름의 프로덕션 Android 알림 채널에 연결되어 있습니다.

  • Notification Trigger: 로컬 인덱스에서 성공적으로 매칭되면, 앱은

Sources