jeremyipark/vision-demos
Fun real-world computer vision demos!
이 프로젝트가 무엇인가
vision-demos는 작고 실제 세계의 컴퓨터 비전 데모 프로그램 모음입니다. 각 프로그램은 비디오 클립을 가져와 AI 모델을 사용하여 그 안에서 일어나는 일(주로 인간의 움직임과 스포츠)을 분석합니다. 데모는 독립적이며 각각 자체 폴더와 README가 있습니다.
데모
| 데모 | 기능 | 사용된 AI 모델 |
|---|---|---|
| dance_sync | 같은 안무를 수행하는 두 명의 댄서를 비교하고 유사도 점수를 제공합니다. | vitpose-plus-large(포즈 감지) |
| chin_ups | 클립에서 턱걸이 반복 횟수를 세고 각 반복의 올라가고 내려가는 단계를 타이밍합니다. | vitpose-plus-large |
| pull_ups | 턱걸이 반복 횟수를 세고 각 풀을 타이밍하며, 운동선수 자신이 측정한 데드 행에 비교하여 각 반복을 "전체" 또는 "부분" 가동 범위로 표시합니다. | vitpose-plus-large |
| push_ups | 측면 비디오에서 팔굽혀펴기 반복 횟수를 세고 각 푸시를 타이밍하며, 각 반복이 완전한 가동 범위와 곧은 등을 갖는지 확인합니다. | vitpose-plus-large |
| rock_climbing | 볼더링 벽의 홀드를 식별하고, 클라이머가 사용한 홀드와 순서를 보여주며, 같은 루트의 다른 시도를 비교합니다. | sam3.1(이미지 분할) + vitpose-plus-large |
| rock_climbing_3d | rock_climbing과 같은 아이디어이지만, 깊이(iPhone LiDAR)로 녹화된 비디오에서. 벽, 홀드, 클라이머를 3D로 재구성하고 루트를 미터 단위로 측정합니다. | sam3.1 + vitpose-plus-large |
| running | 러너의 케이던스(분당 걸음 수)를 측정하고, 각 발 착지를 타이밍하며, 접촉 순간의 무릎 각도를 평균합니다. | vitpose-plus-large |
| deadlift | 데드리프트 반복 횟수를 세고 각 반복의 등을 곧게 또는 둥글게 분류하며, 판정에 대한 확률을 제공합니다. | sam3.1 + vitpose-plus-large + gemma-4-26b-a4b-it(언어 모델) |
| basketball | 공이 림을 통과하는 것을 추적하여 각 슛이 성공인지 실패인지 판단하고, 각 슛을 오버헤드 코트 다이어그램에 플롯하고 필드 골 비율을 표시합니다. | sam3.1 + vitpose-plus-large |
실행 방법
- 각 데모 폴더에는 설정 및 지침이 포함된 자체 README가 있습니다.
- 또한 프로젝트별 설정 없이 대부분의 데모를 시도할 수 있는 단일 브라우저 앱이 있습니다.
- 환경 생성:
conda env create -f environment.yml(또는pip install -r requirements.txt) - 활성화하고
python app.py실행 - 브라우저에서
http://127.0.0.1:7860열기
- 환경 생성:
- 앱에서 클립을 업로드하고, 트리밍하고, 분석합니다.
- API 키가 필요 없습니다. 익명의 속도 제한 계층이 있습니다. VLM Run 키를 붙여넣거나
VLMRUN_API_KEY환경 변수를 설정하여 더 높은 한도를 얻을 수 있습니다. - 두 데모는 브라우저 앱에 없습니다:
rock_climbing_3d(LiDAR 캡처가 필요하기 때문에) 및push_ups. - ffmpeg가 필요합니다.
라이선스
Apache-2.0.
참고 사항
- README에는 대부분의 프로젝트에 대한 데모 비디오와 스크린샷이 포함되어 있습니다(dance_sync, pull_ups, basketball, deadlift, rock_climbing_3d의 YouTube 링크, 나머지는 정적 이미지).
- 모델은 VLM Run 게이트웨이를 통해 액세스되므로 API 키는 선택 사항이지만 더 높은 사용 한도에 권장됩니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트