paninski-lab/lightning-pose

何を解決するか

Lightning Pose は、単一視点および複数視点の動画で、特に遮蔽状況下でも頑健な動きの追跡を可能にする、強力な動物の姿勢推定用パッケージです。視覚的に明確に見えない動物の一部があっても、高精度で動物の動きを追跡できるエンドツーエンドのワークフローを提供します。

動作の仕組み

このプロジェクトは高度なトランスフォーマー・アーキテクチャを使用しています。複数視点の設定では、異なるカメラ角度間の幾何学的関係を学習するために、Multi-View Transformers とシミュレートされた遮蔽を活用します。単一視点のデータセットでは、時間的文脈と非教師付き損失関数を活用して、困難な状況下でも性能を維持します。

対象ユーザー

主に動画データにおける動物の姿勢追跡を必要とする研究者や科学者を対象としています。単一視点および複数視点のカメラ構成をサポートしています。

特徴

• ラベル付け、モデル管理、評価のための GUI を含むエンドツーエンドのパッケージ。
• 単一視点および複数視点の動物姿勢推定をサポート。
• トランスフォーマーに基づくアーキテクチャにより、遮蔽状況下でも高い性能を発揮。
• 後処理に Ensemble Kalman Smoother (EKS) と互換性あり。
• 通常のバックボーン（例：ResNet-50 や ViT-Small）は、T4 GPU 上で約 200 フレームのラベル付きデータで約 20 分で学習可能。