talmolab/sleap

解决的问题

SLEAP 提供了一个用于追踪视频中多个动物姿态的深度学习框架。它消除了传统行为研究中逐帧手动标注每个动物位置的繁琐过程。

工作原理

SLEAP 使用可自定义的神经网络架构，并支持姿态估计的自顶向下和自底向上两种训练策略。其核心是人机协同工作流：用户可以快速标注少量数据，并通过提供的 GUI 对模型预测进行审校和修正，模型随后从这些修正中学习（主动学习）。

适用人群

需要通过追踪视频数据中多个动物的身体部位来量化动物行为的神经科学和生物学研究人员。

主要亮点

• 主动学习 GUI：专为快速标注和数据审校设计的界面。
• 高性能：支持 600+ FPS 的批量推理，实时延迟低于 10ms。
• 灵活训练：单 GPU 上仅需 15–60 分钟即可完成快速训练，并支持无本地 GPU 用户的远程训练工作流。
• 广泛兼容：支持任意种类和数量的动物，并可在所有主流操作系统上运行。