cosanlab/py-feat

Facial Expression Analysis Toolbox

해결하는 문제

Py-FEAT는 이미지 및 비디오에서 감정적이고 신체적인 얼굴 데이터를 추출하는 과정을 단순화하는 포괄적인 툴킷을 제공하는 얼굴 표정(FEX) 연구를 위한 종합적인 도구 세트입니다.

작동 방식

이 라이브러리는 HuggingFace에서 자동으로 다운로드되는 사전 학습된 모델을 사용하여 얼굴을 탐지하고 다음과 같은 특정 얼굴 특징을 추출합니다:

  • 감정 표현 (예: 기쁨, 슬픔, 분노).
  • 얼굴 근육 움직임 (액션 유닛으로 알려짐).
  • 얼굴 랜드마크.

CPU, NVIDIA GPU(CUDA), Apple Silicon(MPS)에서 하드웨어 가속을 지원합니다.

대상 사용자

얼굴 표정 분석, 심리학, 컴퓨터 비전 분야에서 일하는 연구자 및 개발자.

주요 특징

  • 자동 중량 관리: 필요한 시점에 모델 가중치를 자동으로 다운로드합니다.
  • 크로스플랫폼 하드웨어 지원: 더 빠른 처리를 위해 CUDA 및 Metal(MPS)과 호환됩니다.
  • 엔드투엔드 파이프라인: 탐지, 추출, 전처리, 분석, 시각화를 위한 도구를 모두 포함합니다.

관련

  • 프로젝트
  • Dispatch
  • 프로젝트
  • 프로젝트
  • 프로젝트