hysts/pytorch_mpiigaze_demo
Gaze estimation using MPIIGaze and MPIIFaceGaze
해결하는 문제
이 프로젝트는 시선 추정 데모 프로그램을 제공하여 사용자가 이미지 또는 비디오 피드(라이브 웹캠 입력 포함)를 기반으로 사람이 어디를 보고 있는지 판단할 수 있게 합니다. MPIIGaze, MPIIFaceGaze, ETH-XGaze와 같은 사전 학습된 시선 추정 모델을 사용하는 프로세스를 단순화합니다.
작동 원리
이 프로그램은 딥러닝 모델을 사용하여 시각 데이터를 분석합니다. 먼저 선택한 탐지기(MediaPipe 또는 dlib)를 사용하여 얼굴과 랜드마크를 탐지합니다. 그런 다음 특정 시선 추정 모델을 적용하여 시선 벡터를 예측합니다. 시스템은 확립된 연구 관례를를 따라 입력 이미지와 머리 포즈를 모델에 맞게 올바르게 포맷팅하여 복잡한 데이터 정규화를 처리합니다.
대상
이 도구는 인간-컴퓨터 상호작용, 컴퓨터 비전, 시선 추적 애플리케이션에 관심이 있는 개발자와 연구자를 위해 설계되었습니다.
주요 특징
- 다중 모델 지원: MPIIGaze, MPIIFaceGaze, ETH-XGaze 모델을 지원합니다.
- 유연한 입력: 정적 이미지, 비디오 파일 또는 라이브 웹캠 스트림으로 작동합니다.
- 사용자 정의 탐지: MediaPipe, dlib, face_alignment_sfd를 포함한 여러 얼굴 탐지 옵션을 제공합니다.
- 사전 학습된 가중치: Hugging Face Hub에서 safetensors 형식으로 가중치를 자동으로 다운น์โหลด합니다.
- 시각화 도구: 처리 과정 중 랜드마크, 머리 포즈, 경계 상자를 표시/숨김 전환할 수 있는 인터랙티브 키를 포함합니다.