Tobias-Fischer/rt_gene

何を解決するか

このプロジェクトは、自然環境におけるリアルタイムの目線と瞬きの推定ツールを提供します。標準的なカメラ画像を使用して、人がどこを見ているか、そして瞬きしているかどうかを正確に追跡するという課題に対処し、人間-ロボットインタラクションや視覚ベースの監視において特に有用です。

動作方法

このシステムは、2つの主要なコンポーネントから構成されています：視線方向推定用の RT-GENE と瞬き推定用の RT-BENE です。顔および目の画像を処理して、視線方向と瞬き確率を決定します。現在の実装は、PyTorch と OpenCV を使用した ROS 2 ランタイムポートであり、推論用のコア Python ロジックと、ロボットシステムへの統合用の ROS 2 ノードに分かれています。CUDA、Apple Metal (MPS)、CPU などの複数のハードウェアバックエンドをサポートしています。

対象ユーザー

このソフトウェアは、コンピュータビジョン、ロボティクス、人間-コンピュータインタラクションの分野で作業している研究者や開発者向けに設計されており、リアルタイムの目線追跡と瞬き検出をアプリケーションに統合する必要がある方々に適しています。

特徴

• 二重機能性：RT-GENE を用いた視線推定と、RT-BENE を用いた瞬き検出を統合しています。
• ROS 2 統合：専用の ROS 2 インターフェースとノードを備えた現代的なランタイムポートを提供し、ロボットパイプラインへの容易な統合を実現しています。
• クロスプラットフォーム対応：Linux、macOS (arm64)、Windows に対応しており、異なるGPUに最適化されたデバイス選択が可能です。
• スタンドアロンデモ：完全な ROS 2 環境を必要とせずに、単一の画像に対して推論を実行するスクリプトを含んでいます。