talmolab/sleap

해결하는 문제

SLEAP은 비디오 내 여러 동물의 자세를 추적하기 위한 딥러닝 프레임워크를 제공합니다. 전통적으로 행동 연구에서 모든 동물의 위치를 프레임 단위로 수동으로 라벨링하는 것은 매우 번거로운 과정이었지만, 이 프레임워크는 이를 제거합니다.

작동 방식

SLEAP은 사용자 정의 가능한 신경망 아키텍처를 사용하며, 자세 추정을 위한 상향식 및 하향식 학습 전략을 모두 지원합니다. 사용자가 소량의 데이터를 빠르게 라벨링하고, 제공된 GUI를 통해 예측을 검토하고 수정하는 '사람이 포함된 루프' 워크플로우를 특징으로 합니다. 모델은 이러한 수정 사항을 학습하여 지속적으로 개선됩니다 (액티브 러닝).

대상 사용자

비디오 데이터 내 여러 동물의 신체 부위를 추적하여 행동을 정량화해야 하는 신경과학 및 생물학 연구자들.

주요 특징

• 액티브 러닝 GUI: 데이터셋의 빠른 라벨링과 검토를 위한 전용 인터페이스.
• 고성능: 600+ FPS의 배치 추론이 가능하며, 실시간 지연은 10ms 미만.
• 유연한 학습: 단일 GPU에서 15~60분 내에 빠른 학습이 가능하며, 로컬 GPU가 없는 사용자를 위한 원격 학습 워크플로우도 지원.
• 광범위한 호환성: 어떤 종류나 수의 동물에도 대응 가능하며, 모든 주요 운영 체제에서 작동합니다.