cosanlab/py-feat

Facial Expression Analysis Toolbox

解決的問題

Py-FEAT 為研究者提供了一套完整的工具包，用於從影像與影片中分析面部表情（FEX）。它簡化了情感狀態、肌肉運動與面部關鍵點的提取流程，無需再整合多個獨立工具。

作法原理

此套件使用 Detectorv1 類來處理視覺資料。它會自動從 HuggingFace Hub 下載必要的模型權重，並可在 CPU、NVIDIA GPU（CUDA）或 Apple Silicon（MPS）上執行。該套件處理從人臉偵測到特定面部特徵提取的完整流程，並提供預處理、分析與視覺化結果資料的方法。

適用對象

主要設計給面部表情分析與情感計算領域的研究人員。

特色亮點

  • 提取情感表達（例如：快樂、悲傷、憤怒）。
  • 檢測稱為動作單元（Action Units）的面部肌肉運動。
  • 識別面部關鍵點。
  • 支援 CPU、CUDA 與 Metal（MPS）的硬體加速。

相關

  • 專案
    tomas-gajarsky/facetorch

    一個用於臉部偵測與分析的 Python 函式庫，精選並最佳化開源深度學習模型，以執行情緒辨識與深偽偵測等任務。

  • 專案
    yakhyo/uniface

    UniFace 是一個 Python 函式庫，將 15 種人臉分析任務——偵測、關鍵點、3D 網格、解析、遮罩、注視、頭部姿勢、人口統計、情緒、品質、防偽、識別、匿名化以及基於 FAISS 的相似度比對——整合進一個單一、易於安裝的套件中（支援 CPU、Apple Silicon 或 CUDA）。它提供一致的 API、自動下載經驗證的模型權重，並包含豐富的文檔、Notebooks 以及社群 Discord。

  • 專案
    serengil/deepface

    一個輕量級的 Python 框架，用於人臉識別與面部屬性分析，將多個最先進的模型封裝進一個易於使用的 API 中。

  • Dispatch
    使用 Python 開始進行情緒分析

    Hugging Face 提供了一份關於如何使用 Python 實作情緒分析的全面指南，利用了來自 Hugging Face Hub 的預訓練模型、用於微調的 Trainer API 以及無程式碼的 AutoNLP 工具。

  • 專案
    phamquiluan/ResidualMaskingNetwork

    使用殘差遮罩網路從影像與即時影片串流中偵測人類情感的面部表情辨識系統。