gazijarin/itsgiving

해결하는 문제

사용자의 얼굴 표정과 손 제스처에 따라 실시간으로 웹캠 영상에 시각적 미ーム 오버레이를 트리거할 수 있게 해줍니다. 정적인 비디오 회의 문제를 해결하며, OBS나 Zoom, Microsoft Teams와 같은 회의 앱에서 가상 카메라를 통해 다른 사람들과 상호작용하는 제스처 기반 반응을 추가합니다.

작동 방식

이 애플리케이션은 MediaPipe를 사용하여 478개의 얼굴 랜드마크, 52개의 블렌드쉐이프, 손과 몸의 위치를 추적합니다. 사용자의 카메라 거리와 관계없이 작동할 수 있도록 얼굴 기준 기하학을 계산합니다.

사람마다 다른 휴식 시 얼굴 표정을 고려하여, 이 프로젝트는 캘리브레이션 모드를 포함합니다. 이 모드는 사용자의 중립 얼굴을 7초간 기록하여 각 표정 채널의 평균과 표준편차를 설정합니다. 이후 현재 표정이 사용자 고유의 중립 기준에서 얼마나 벗어났는지를 측정하는 'z-스코어'(시그마)를 계산하여, 다양한 얼굴 형태에서도 신뢰할 수 있는 감지를 가능하게 합니다.

대상 사용자

• 인터랙티브한 시각적 반응을 원하는 콘텐츠 크리에이터 및 스트리머.
• 비디오 회의에 유머와 참여감을 더하고 싶은 원격 근무자 또는 학생.
• 컴퓨터 비전과 제스처 인식에 관심 있는 개발자.

주요 기능

• 가상 카메라 지원: OBS 또는 v4l2loopback와 통합되어 회의 앱에서 표준 웹캠처럼 보입니다.
• 개인화된 캘리브레이션: z-스코어를 사용한 통계적 정규화로 개인의 휴식 얼굴에 적응합니다.
• 사용자 정의 자산: assets 폴더 내 이미지나 GIF를 교체함으로써 쉽게 미ーム을 교체할 수 있습니다.
• 확장 가능한 포즈 시스템: decide() 함수에서 기하학 기반 규칙을 정의함으로써 개발자가 새로운 제스처를 추가할 수 있는 프레임워크를 제공합니다.
• 스케일 불변 추적: 얼굴 너비로 거리를 정규화하여, 거리에 관계없이 일관된 제스처 감지가 가능합니다.