gazijarin/itsgiving

何を解決するか

リアルタイムでユーザーの顔の表情や手のジェスチャーに基づいて、ビデオ通話のウェブカメラ映像に視覚的なミームオーバーレイをトリガーする機能を提供します。静的なビデオ会議の問題を解決し、OBSやZoom、Microsoft Teamsなどの会議アプリで共有可能なインタラクティブでジェスチャー駆動のリアクションを追加します。

動作方法

このアプリケーションはMediaPipeを使用して、478個の顔のランドマーク、52個のブレンドシェイプ、手と体の位置を追跡します。ユーザーのカメラからの距離に関係なく動作するように、顔の相対的な幾何学を計算します。

異なる人が異なるリラックス時の顔の表情を持つという事実に対応するため、このプロジェクトにはキャリブレーションモードが含まれています。このモードは、7秒間ユーザーのニュートラルな顔を記録し、各表情チャネルの平均値と標準偏差を確立します。その後、現在の表情がユーザー固有のニュートラルベースからどれだけ離れているかを測定する「zスコア」（シグマ）を計算し、異なる顔の形状に対しても信頼性の高い検出を実現します。

対象ユーザー

• インタラクティブなビジュアルリアクションを求めるコンテンツクリエイターおよびストリーマー。
• ビデオ会議にユーモアと参加感を加えたいリモートワーカーや学生。
• コンピュータビジョンやジェスチャー認識に興味を持つ開発者。

特徴

• バーチャルカメラ対応: OBSやv4l2loopbackと統合され、会議アプリで標準のウェブカメラとして表示されます。
• パーソナライズされたキャリブレーション: zスコアによる統計的正規化を使用して、個人のリラックス時の顔に適応します。
• カスタマイズ可能なアセット: assetsフォルダ内の画像やGIFを置き換えることで、簡単にミームを交換できます。
• 拡張可能なポーズシステム: decide()関数で幾何学ベースのルールを定義することで、開発者が新しいジェスチャーを追加できるフレームワークを提供します。
• スケール不変の追跡: 顔の幅で距離を正規化するため、距離に関係なく一貫したジェスチャー検出が可能になります。