paninski-lab/lightning-pose

해결하는 문제

Lightning Pose는 단일 및 다중 시점 영상에서 특히 가림 상황에서 강건한 동물 자세 추정을 위한 설계된 에ンド투엔드 패키지입니다. 동물의 일부가 명확히 보이지 않을 때에도 높은 정확도로 동물의 움직임을 추적할 수 있는 완전한 워크플로우를 제공합니다.

작동 방식

이 프로젝트는 고급 트랜스포머 아키텍처를 사용합니다. 다중 시점 설정에서는 다양한 카메라 각도 간의 기하학적 관계를 학습하기 위해 Multi-View 트랜스포머와 시뮬레이션된 가림을 활용합니다. 단일 시점 데이터셋의 경우, 시간적 맥락과 비지도 손실을 활용하여 어려운 상황에서도 성능을 유지합니다.

대상 사용자

주로 영상 데이터에서 동물 자세를 추적해야 하는 연구자 및 과학자를 대상으로 하며, 단일 및 다중 시점 카메라 구성 모두를 지원합니다.

주요 특징

• 라벨링, 모델 관리, 평가를 위한 GUI를 포함한 에ンド투엔드 패키지.
• 단일 시점 및 다중 시점 동물 자세 추정 지원.
• 트랜스포머 기반 아키텍처를 사용해 가림 상황에서 높은 성능 발휘.
• 후처리에 Ensemble Kalman Smoother (EKS)와 호환.
• 일반적인 백본(예: ResNet-50 또는 ViT-Small)은 T4 GPU에서 약 200개의 레이블링된 프레임을 약 20분 내에 학습 가능.