DeepLabCut/DeepLabCut

해결하는 문제

DeepLabCut은 동물과 물체의 마커리스 포즈 추정을 수행하는 방법을 제공합니다. 피험자에게 물리적 마커를 부착할 필요 없이 비디오에서 특정 신체 부위나 관심 지점을 추적할 수 있어, 동물과 물체의 종류에 구애받지 않습니다.

작동 원리

이 툴박스는 딥러닝 백본(ResNet, HRNet, RTMPose 등)을 사용하여 이미지의 특징을 감지합니다. 전이 학습을 활용하여 높은 정확도를 달성하는 데 필요한 학습 데이터의 양을 크게 줄여줍니다. 시스템은 PyTorch와 TensorFlow 백엔드를 모두 지원하며, 그래픽 사용자 인터페이스(GUI) 또는 API를 통해 사용할 수 있습니다. 또한 단일 카메라 또는 삼각 측량을 이용한 다중 카메라를 사용한 3D 포즈 추정도 지원합니다.

대상

신경과학, 생태학, 의학 등의 분야에서 동물 행동을 추적해야 하는 컴퓨터 비전 연구자 및 생명 과학자를 위해 설계되었습니다.

주요 특징

• 대상 불문: 사용자가 관심 지점에 라벨을 지정할 수 있다면 어떤 대상에 대해서도 작동합니다.
• 낮은 데이터 요구량: 전이 학습을 사용하여 대규모 라벨링 데이터셋의 필요성을 최소화합니다.
• 사전 학습된 모델: SuperAnimal-Quadruped 및 SuperAnimal-TopViewMouse와 같은 파운데이션 모델을 제공합니다.
• 유연한 백엔드: PyTorch(기본) 및 TensorFlow를 지원합니다.
• 다차원 추적: 2D 및 3D 포즈 추정이 가능합니다.