cosanlab/py-feat

Facial Expression Analysis Toolbox

解决的问题

Py-FEAT 提供了一个全面的面部表情（FEX）研究工具包，简化了从图像和视频中提取情感和面部物理数据的过程。

工作原理

该库使用预训练模型（自动从 HuggingFace 下载）来检测人脸并提取特定面部特征，包括：

  • 情感表达（例如：快乐、悲伤、愤怒）。
  • 面部肌肉运动（称为动作单元）。
  • 面部关键点。

支持在 CPU、NVIDIA GPU（CUDA）和 Apple Silicon（MPS）上的硬件加速。

适用人群

从事面部表情分析、心理学和计算机视觉的研究人员和开发者。

主要亮点

  • 自动权重管理：按需自动下载模型权重。
  • 跨平台硬件支持：兼容 CUDA 和 Metal（MPS），实现更快的处理速度。
  • 端到端流程：包含检测、提取、预处理、分析和可视化面部数据的工具。

相关

  • 项目
    yakhyo/uniface

    UniFace 是一个 Python 库，将 15 种人脸分析任务——检测、关键点、3D 网格、解析、遮罩、注视、头部姿态、人口统计、情绪、质量、防伪、识别、匿名化以及基于 FAISS 的相似度比对——整合进一个单一、易于安装的套件中（支持 CPU、Apple Silicon 或 CUDA）。它提供一致的 API、自动下载经验证的模型权重，并包含丰富的文档、Notebooks 以及社区 Discord。

  • Dispatch
    使用 Python 开始进行情感分析

    Hugging Face 提供了一份关于如何使用 Python 实现情感分析的全面指南，利用了来自 Hugging Face Hub 的预训练模型、用于微调的 Trainer API 以及无代码工具 AutoNLP。

  • 项目
    serengil/deepface

    一个轻量级的 Python 框架，用于人脸识别和面部属性分析，封装了多个用于身份验证和人口统计预测的最先进模型。

  • 项目
    phamquiluan/ResidualMaskingNetwork

    使用残差掩码网络检测图像和实时视频流中人类情感的面部表情识别系统。

  • 项目
    deepinsight/insightface

    InsightFace 是一个开源的 2D/3D 人脸分析库，提供检测、识别、对齐、视频遮蔽、人员级别匹配，以及具备 REST API 的自托管服务器。它以 PyTorch/MXNet 实现，提供预训练模型、自动硬件后端选择以及大规模人脸搜索工具。