Tobias-Fischer/rt_gene

解決的問題

本專案提供在自然環境中進行即時眼動與眨眼估計的工具。它解決了使用標準相機影像準確追蹤人注視方向與是否眨眼的挑戰，特別適用於人機互動與視覺導向監控。

工作原理

此系統由兩個主要元件組成：用於視線方向估計的 RT-GENE 與用於眨眼估計的 RT-BENE。系統處理臉部與眼部影像，以決定視線方向與眨眼機率。目前實作為使用 PyTorch 與 OpenCV 的 ROS 2 執行時移植版本，核心 Python 程式邏輯用於推論，ROS 2 節點則用於整合至機器人系統。支援多種硬體後端，包括 CUDA、Apple Metal (MPS) 與 CPU。

適用對象

本軟體專為從事電腦視覺、機器人學與人機互動的研究人員與開發者設計，適用於需要將即時眼動追蹤與眨眼偵測整合至應用程式的使用者。

主要亮點

• 雙重功能：整合 RT-GENE 的視線估計與 RT-BENE 的眨眼偵測。
• ROS 2 整合：提供現代化的執行時移植版本，具備專用的 ROS 2 接口與節點，便於整合至機器人流程中。
• 跨平台支援：相容 Linux、macOS (arm64) 與 Windows，支援不同 GPU 的最佳化裝置選擇。
• 獨立示範：包含可在無需完整 ROS 2 環境下執行單張影像推論的指令碼。