talmolab/sleap

何を解決するか

SLEAPは、動画内の複数の動物のポーズを追跡するためのディープラーニングフレームワークを提供します。従来、行動研究ではすべての動物の位置をフレーム単位で手動でラベル付けする必要があり、非常に手間のかかるプロセスでしたが、これによりその必要がなくなります。

どうやって動くか

SLEAPはカスタマイズ可能なニューラルネットワークアーキテクチャを用い、ポーズ推定にトップダウンおよびボトムアップの両方の学習戦略をサポートしています。ユーザーが少量のデータを迅速にラベル付けし、提供されたGUIで予測を確認・修正する「人間を含むループ」ワークフローを特徴としています。モデルはその修正内容から学習し、継続的に改善されます（アクティブラーニング）。

対象ユーザー

動画データ内の複数の動物の体部を追跡して行動を定量分析する必要がある神経科学および生物学の研究者。

特徴

• アクティブラーニング用GUI：データセットの迅速なラベル付けと確認に特化したインターフェース。
• 高いパフォーマンス：600 FPS以上のバッチ推論が可能で、リアルタイムの遅延は10ms未満。
• 柔軟な学習：単一GPUで15〜60分の高速学習を実現。ローカルGPUのないユーザー向けにリモート学習ワークフローもサポート。
• 広範な互換性：任意の動物の種類や数に対応し、すべての主要なオペレーティングシステムで動作します。