gazijarin/itsgiving

解決的問題

此應用程式允許使用者根據即時的面部表情與手勢，觸發網路攝影機畫面中的視覺迷因覆疊。它解決了靜態視訊會議的問題，透過加入互動式、手勢驅動的反應，讓這些反應可透過虛擬攝影機（例如在 Zoom 或 Microsoft Teams 中）廣播給他人。

工作原理

該應用程式使用 MediaPipe 追蹤 478 個面部關鍵點、52 個混合形狀以及手部/身體位置。透過計算相對於臉部的幾何結構，確保系統無論使用者距離攝影機遠近都能正常運作。

由於不同人的自然面部表情不同，此專案包含校準模式。該模式會記錄使用者中性臉部狀態 7 秒，以建立每個表情通道的平均值與標準差。隨後計算「z 分數」（sigma），衡量當前表情與使用者特定中性基準的偏移程度，進而實現跨不同臉型的可靠檢測。

適用對象

• 希望獲得互動式視覺反應的內容創作者與主播。
• 希望為視訊會議增添幽默感與參與感的遠端工作者或學生。
• 對電腦視覺與手勢辨識感興趣的開發者。

主要特色

• 虛擬攝影機支援：與 OBS 或 v4l2loopback 集成，可在會議應用中作為標準攝影機使用。
• 個人化校準：使用統計歸一化（z 分數）適應個人的自然臉部狀態。
• 可自訂資源：使用者只需替換 assets 檔案夾中的圖片或 GIF 即可輕鬆更換迷因。
• 可擴展的姿勢系統：提供框架，讓開發者透過在 decide() 函數中定義基於幾何規則的新手勢。
• 尺度不變追蹤：透過臉部寬度歸一化距離，確保在任何距離下都能一致檢測手勢。