jeremyipark/vision-demos
Fun real-world computer vision demos!
这个项目是什么
vision-demos 是一个小型、真实世界的计算机视觉演示程序集合。每个程序接收一个视频片段,并使用 AI 模型分析其中发生的内容——主要是人体运动和体育。这些演示是独立的,每个都有自己的文件夹和 README。
演示
| 演示 | 功能 | 使用的 AI 模型 |
|---|---|---|
| dance_sync | 比较两个跳相同编舞的舞者,并给出相似度评分。 | vitpose-plus-large(姿态检测) |
| chin_ups | 计算视频片段中引体向上的重复次数,并计时每次重复的上升和下降阶段。 | vitpose-plus-large |
| pull_ups | 计算引体向上次数,计时每次拉动,并根据运动员自身测量的悬垂状态,将每次重复标记为“完整”或“部分”活动范围。 | vitpose-plus-large |
| push_ups | 从侧面视频计算俯卧撑次数,计时每次推动,并检查每次重复是否具有完整活动范围和笔直的背部。 | vitpose-plus-large |
| rock_climbing | 识别攀岩墙上的支点,显示攀岩者使用了哪些支点及其顺序,并比较同一路线上的不同尝试。 | sam3.1(图像分割)+ vitpose-plus-large |
| rock_climbing_3d | 与 rock_climbing 类似,但使用带深度(iPhone LiDAR)录制的视频。它在 3D 中重建墙壁、支点和攀岩者,并以米为单位测量路线。 | sam3.1 + vitpose-plus-large |
| running | 测量跑步者的步频(每分钟步数),计时每次脚触地,并平均接触瞬间的膝盖角度。 | vitpose-plus-large |
| deadlift | 计算硬拉次数,并将每次重复的背部分类为笔直或弯曲,并给出判断的概率。 | sam3.1 + vitpose-plus-large + gemma-4-26b-a4b-it(语言模型) |
| basketball | 通过跟踪球穿过篮筐来确定每次投篮是命中还是未命中,并在俯视球场图上绘制每次投篮,并显示投篮命中率。 | sam3.1 + vitpose-plus-large |
如何运行
- 每个演示文件夹都有自己的 README,包含设置和说明。
- 还有一个单一的浏览器应用,让您无需逐个项目设置即可试用大多数演示:
- 创建环境:
conda env create -f environment.yml(或pip install -r requirements.txt) - 激活它并运行
python app.py - 在浏览器中打开
http://127.0.0.1:7860
- 创建环境:
- 在应用中,您可以上传片段、裁剪并分析。
- 无需 API 密钥——有一个匿名的限速层级。您可以粘贴 VLM Run 密钥或设置
VLMRUN_API_KEY环境变量以获得更高的限制。 - 两个演示不在浏览器应用中:
rock_climbing_3d(因为它需要 LiDAR 捕获)和push_ups。 - ffmpeg 是必需的。
许可证
Apache-2.0。
备注
- README 包含大多数项目的演示视频和截图(dance_sync、pull_ups、basketball、deadlift 和 rock_climbing_3d 的 YouTube 链接;其他项目的静态图片)。
- 模型通过 VLM Run 网关访问,这就是 API 密钥可选但建议用于更高使用限制的原因。
相关
- 项目
- 项目
- 项目
- 项目
- 项目