cosanlab/py-feat

Facial Expression Analysis Toolbox

何を解決するか

Py-FEATは、顔の表情(FEX)研究のための包括的なツールキットを提供し、画像および動画から感情的・物理的な顔データを抽出するプロセスを簡素化します。

動作方法

このライブラリは、HuggingFaceから自動的にダウンロードされる事前学習済みモデルを使用して、顔を検出および特定の顔の特徴を抽出します。具体的には以下の内容を含みます:

  • 感情表現(例:喜び、悲しみ、怒り)。
  • 顔の筋肉の動き(アクションユニットとして知られる)。
  • 顔のランドマーク。

CPU、NVIDIA GPU(CUDA)、Apple Silicon(MPS)でのハードウェアアクセラレーションをサポートしています。

対象ユーザー

顔の表情分析、心理学、コンピュータビジョン分野で作業している研究者および開発者。

特徴

  • 自動的な重み管理:必要なときに自動的にモデルの重みをダウンロードします。
  • クロスプラットフォームのハードウェア対応:CUDAおよびMetal(MPS)に対応し、処理速度を向上させます。
  • エンドツーエンドのパイプライン:検出、抽出、前処理、分析、可視化のためのツールをすべて含んでいます。

関連

  • プロジェクト
  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト