DeepLabCut/DeepLabCut

解決する課題

DeepLabCutは、動物や物体のマーカーレス姿勢推定を行う方法を提供します。被験体に物理的なマーカーを付ける必要がなく、特定の身体部位や関心のあるポイントをビデオ内で追跡できるため、動物や物体の種類を問いません。

仕組み

このツールボックスは、ディープラーニングのバックボーン（ResNet、HRNet、RTMPoseなど）を使用して画像内の特徴を検出します。転移学習を活用することで、高い精度を達成するために必要なトレーニングデータの量を大幅に削減します。システムはPyTorchとTensorFlowの両方のバックエンドをサポートしており、グラフィカルユーザーインターフェース（GUI）またはAPIを介して使用できます。また、単一のカメラ、または三角測量を用いた複数台のカメラによる3D姿勢推定もサポートしています。

対象者

神経科学、生態学、医学などの分野で活動し、動物の行動を追跡する必要があるコンピュータビジョン研究者やライフサイエンス研究者向けに設計されています。

ハイライト

• 対象を選ばない: ユーザーが関心のあるポイントをラベル付けできれば、あらゆる対象に対して機能します。
• 少ないデータ量で可能: 転移学習を使用して、大規模なラベル付きデータセットの必要性を最小限に抑えます。
• 学習済みモデル: SuperAnimal-QuadrupedやSuperAnimal-TopViewMouseのような基盤モデルを提供しています。
• 柔軟なバックエンド: PyTorch（主要）とTensorFlowをサポートしています。
• 多次元トラッキング: 2Dおよび3Dの姿勢推定が可能です。