Tobias-Fischer/rt_gene

해결하는 문제

이 프로젝트는 자연 환경에서 실시간으로 눈의 시선과 깜빡임을 추정하는 도구를 제공합니다. 표준 카메라 이미지를 사용하여 사람이 어디를 보고 있는지, 그리고 깜빡임을 하고 있는지를 정확히 추적하는 문제를 해결하며, 인간-로봇 상호작용 및 시각 기반 모니터링에 특히 유용합니다.

작동 방식

이 시스템은 두 가지 주요 구성 요소로 구성됩니다: 시선 방향 추정을 위한 RT-GENE과 깜빡임 추정을 위한 RT-BENE입니다. 얼굴 및 눈 이미지를 처리하여 시선 방향과 깜빡임 확률을 결정합니다. 현재 구현은 PyTorch와 OpenCV를 사용한 ROS 2 런타임 포트로, 추론을 위한 핵심 Python 로직과 로봇 시스템에 통합하기 위한 ROS 2 노드로 구성되어 있습니다. CUDA, Apple Metal (MPS), CPU 등 여러 하드웨어 백엔드를 지원합니다.

대상 사용자

이 소프트웨어는 컴퓨터 비전, 로봇공학, 인간-컴퓨터 상호작용 분야에서 일하는 연구자 및 개발자들을 위한 것으로, 실시간 눈의 시선 추적과 깜빡임 감지를 애플리케이션에 통합해야 하는 분들에게 적합합니다.

주요 특징

• 이중 기능성: RT-GENE을 통한 시선 추정과 RT-BENE을 통한 깜빡임 감지를 통합합니다.
• ROS 2 통합: 전용 ROS 2 인터페이스와 노드를 갖춘 현대적인 런타임 포트를 제공하여 로봇 파이프라인에 쉽게 통합할 수 있습니다.
• 크로스플랫폼 지원: Linux, macOS (arm64), Windows와 호환되며, 다양한 GPU에 최적화된 장치 선택 기능을 제공합니다.
• 스탠드얼론 데모: 전체 ROS 2 환경이 필요 없이 단일 이미지에 대해 추론을 실행할 수 있는 스크립트를 포함합니다.