talmolab/sleap

解決的問題

SLEAP 提供了一個用於追蹤影片中多隻動物姿態的深度學習框架。它消除了傳統行為研究中逐幀手動標記每隻動物位置的繁瑣過程。

工作原理

SLEAP 使用可自訂的神經網路架構，並支援姿態估計的自頂向下與自底向上兩種訓練策略。其核心是人機協同工作流程：使用者可快速標記少量資料，並透過提供的 GUI 對模型預測進行審校與修正，模型隨後從這些修正中學習（主動學習）。

適用對象

需要透過追蹤影片資料中多隻動物的身體部位來量化動物行為的神經科學與生物學研究人員。

主要亮點

• 主動學習 GUI：專為快速標記與資料審校設計的介面。
• 高性能量：支援 600+ FPS 的批次推論，即時延遲低於 10ms。
• 彈性訓練：單一 GPU 上僅需 15–60 分鐘即可完成快速訓練，並支援無本地 GPU 使用者的遠端訓練工作流程。
• 廣泛相容：支援任意種類與數量的動物，並可在所有主流作業系統上運行。