Tobias-Fischer/rt_gene

解决的问题

本项目提供在自然环境中进行实时眼动和眨眼估计的工具。它解决了使用标准摄像头图像准确追踪人视线方向和眨眼状态的挑战，特别适用于人机交互和基于视觉的监控场景。

工作原理

该系统由两个主要组件构成：用于视线方向估计的 RT-GENE 和用于眨眼估计的 RT-BENE。系统处理人脸和眼部图像，以确定视线方向和眨眼概率。当前实现是基于 PyTorch 和 OpenCV 的 ROS 2 运行时移植版本，核心 Python 逻辑用于推理，ROS 2 节点用于集成到机器人系统中。支持多种硬件后端，包括 CUDA、Apple Metal (MPS) 和 CPU。

适用人群

本软件专为从事计算机视觉、机器人学和人机交互的研究人员与开发者设计，适用于需要将实时眼动追踪和眨眼检测集成到应用中的用户。

主要亮点

• 双重功能：整合了 RT-GENE 的视线估计与 RT-BENE 的眨眼检测。
• ROS 2 集成：提供现代化的运行时移植版本，配备专用的 ROS 2 接口和节点，便于集成到机器人流水线中。
• 跨平台支持：兼容 Linux、macOS (arm64) 和 Windows，支持不同 GPU 的优化设备选择。
• 独立演示：包含可在无需完整 ROS 2 环境的情况下运行单张图像推理的脚本。