DeepLabCut/DeepLabCut

解決的問題

DeepLabCut 提供了一種對動物和物體進行無需標記的姿態估計的方法。它允許研究人員在影片中追蹤特定的身體部位或感興趣的點，而無需在受試者身上附著物理標記，因此具有物種和物體無關性。

工作原理

該工具箱使用深度學習骨幹網路（如 ResNet、HRNet 和 RTMPose）來檢測圖像中的特徵。它利用遷移學習，顯著減少了實現高精度所需的訓練數據量。該系統支援 PyTorch 和 TensorFlow 後端，可以透過圖形使用者介面 (GUI) 或 API 使用。它還支援使用單個攝影機或透過三角測量使用多個攝影機進行 3D 姿態估計。

適用對象

專為在神經科學、生態學和醫學等領域工作並需要追蹤動物行為的電腦視覺研究人員和生命科學家設計。

亮點

• 物種無關性: 只要使用者可以標記感興趣的點，即可應用於任何對象。
• 低數據需求: 使用遷移學習來最大限度地減少對大型標記數據集的的需求。
• 預訓練模型: 提供 SuperAnimal-Quadruped 和 SuperAnimal-TopViewMouse 等基礎模型。
• 靈活的後端: 支援 PyTorch（主要）和 TensorFlow。
• 多維追蹤: 能夠進行 2D 和 3D 姿態估計。