jeremyipark/vision-demos

Fun real-world computer vision demos!

해결하는 문제

이 프로젝트는 비디오에서 인간의 움직임과 신체 활동을 분석하는 실용적인 컴퓨터 비전 애플리케이션 모음을 제공합니다. 반복 횟수 계산, 동작 동기화, 공간 분석과 같은 작업을 자동화하여 운동 수행 능력, 자세 및 기술을 정량화하는 문제를 해결합니다.

작동 원리

이 데모들은 최첨단 비전 모델을 활용하여 비디오 프레임에서 데이터를 추출합니다. 자세 추정 (ViTPose), 객체 세그멘테이션 (SAM 3.1), 그리고 경우에 따라 추론을 위한 대규모 언어 모델 (Gemma)을 결합하여 시스템이 신체 랜드마크와 물리적 객체를 추적합니다. 그런 다음 이러한 좌표를 처리하여 iPhone LiDAR와 같은 장치의 깊이 데이터를 사용하여 케이던스, 가동 범위 또는 3D 공간 위치와 같은 지표를 계산합니다.

대상 사용자

이 저장소는 스포츠 과학, 피트니스 추적 및 생체 역학 분석을 위한 실제 컴퓨터 비전 애플리케이션을 구축하는 데 관심이 있는 개발자와 연구자를 위한 것입니다.

주요 특징

  • 턱걸이, 친업, 데드리프트와 같은 운동에 대한 자동 반복 횟수 계산 및 자세 평가.
  • 댄스 동기화 점수 및 러닝 케이던스 추적을 포함한 고급 동작 분석.
  • LiDAR 데이터와 객체 세그멘테이션을 사용한 암벽 등반 경로의 3D 공간 재구성.
  • 각 데모가 구현 및 모델 사용에 대한 구체적인 지침을 제공하는 모듈식 접근 방식.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트