paninski-lab/lightning-pose

解决的问题

Lightning Pose 专为鲁棒的动物姿态估计而设计，解决了单视角和多视角视频流中遮挡带来的挑战。它提供了一个端到端的工作流程，即使动物的部分区域无法清晰可见，也能以高精度追踪动物的运动。

工作原理

该项目使用先进的 Transformer 架构。在多视角设置中，它采用多视角 Transformer 和模拟遮挡，以学习不同摄像机角度之间的几何关系。在单视角数据集上，它利用时间上下文和无监督损失，以在复杂场景中保持性能。

适用人群

主要面向需要在视频数据中追踪动物姿态的研究人员和科学家，支持单视角和多视角摄像机配置。

主要亮点

• 包含 GUI 的端到端软件包，支持标注、模型管理和评估。
• 支持单视角和多视角动物姿态估计。
• 基于 Transformer 架构，在遮挡情况下表现优异。
• 与 Ensemble Kalman Smoother (EKS) 兼容，可用于后处理。
• 训练速度快，典型骨干网络（如 ResNet-50 或 ViT-Small）在 T4 GPU 上仅需约 200 个标注帧，大约 20 分钟即可完成训练。