paninski-lab/lightning-pose

解決的問題

Lightning Pose 是專為強健的動物姿態估計而設計，解決了單一視角與多視角影片串流中遮蔽所帶來的挑戰。它提供端到端的工作流程，即使動物的部分區域無法清晰可見，也能以高準確度追蹤動物的移動。

工作原理

此專案使用先進的 Transformer 架構。在多視角設定中，它採用多視角 Transformer 與模擬遮蔽，以學習不同攝影機角度之間的幾何關係。在單視角資料集上，則利用時間上下文與非監督損失，以在困難情境中維持性能。

適用對象

主要針對需要在影片資料中追蹤動物姿態的研究人員與科學家，支援單視角與多視角攝影機配置。

主要亮點

• 包含 GUI 的端到端套件，支援標記、模型管理與評估。
• 支援單視角與多視角動物姿態估計。
• 基於 Transformer 架構，在遮蔽情況下表現優異。
• 與 Ensemble Kalman Smoother (EKS) 兼容，可用於後處理。
• 訓練速度快，典型骨幹網路（如 ResNet-50 或 ViT-Small）在 T4 GPU 上僅需約 200 個標記畫格，約 20 分鐘即可完成訓練。