DeepLabCut/DeepLabCut

解决的问题

DeepLabCut 提供了一种对动物和物体进行无需标记的姿态估计的方法。它允许研究人员在视频中追踪特定的身体部位或感兴趣的点，而无需在受试者身上附着物理标记，因此具有物种和物体无关性。

工作原理

该工具箱使用深度学习骨干网络（如 ResNet、HRNet 和 RTMPose）来检测图像中的特征。它利用迁移学习，显著减少了实现高精度所需的训练数据量。该系统支持 PyTorch 和 TensorFlow 后端，可以通过图形用户界面 (GUI) 或 API 使用。它还支持使用单个摄像头或通过三角测量使用多个摄像头进行 3D 姿态估计。

适用对象

专为在神经科学、生态学和医学等领域工作并需要追踪动物行为的计算机视觉研究人员和生命科学家设计。

亮点

• 物种无关性: 只要用户可以标记感兴趣的点，即可应用于任何对象。
• 低数据需求: 使用迁移学习来最大限度地减少对大型标记数据集的需求。
• 预训练模型: 提供 SuperAnimal-Quadruped 和 SuperAnimal-TopViewMouse 等基础模型。
• 灵活的后端: 支持 PyTorch（主要）和 TensorFlow。
• 多维追踪: 能够进行 2D 和 3D 姿态估计。