jeremyipark/vision-demos

Fun real-world computer vision demos!

这个项目是什么

vision-demos 是一个小型、真实世界的计算机视觉演示程序集合。每个程序接收一个视频片段,并使用 AI 模型分析其中发生的内容——主要是人体运动和体育。这些演示是独立的,每个都有自己的文件夹和 README。

演示

演示 功能 使用的 AI 模型
dance_sync 比较两个跳相同编舞的舞者,并给出相似度评分。 vitpose-plus-large(姿态检测)
chin_ups 计算视频片段中引体向上的重复次数,并计时每次重复的上升和下降阶段。 vitpose-plus-large
pull_ups 计算引体向上次数,计时每次拉动,并根据运动员自身测量的悬垂状态,将每次重复标记为“完整”或“部分”活动范围。 vitpose-plus-large
push_ups 从侧面视频计算俯卧撑次数,计时每次推动,并检查每次重复是否具有完整活动范围和笔直的背部。 vitpose-plus-large
rock_climbing 识别攀岩墙上的支点,显示攀岩者使用了哪些支点及其顺序,并比较同一路线上的不同尝试。 sam3.1(图像分割)+ vitpose-plus-large
rock_climbing_3d 与 rock_climbing 类似,但使用带深度(iPhone LiDAR)录制的视频。它在 3D 中重建墙壁、支点和攀岩者,并以米为单位测量路线。 sam3.1 + vitpose-plus-large
running 测量跑步者的步频(每分钟步数),计时每次脚触地,并平均接触瞬间的膝盖角度。 vitpose-plus-large
deadlift 计算硬拉次数,并将每次重复的背部分类为笔直或弯曲,并给出判断的概率。 sam3.1 + vitpose-plus-large + gemma-4-26b-a4b-it(语言模型)
basketball 通过跟踪球穿过篮筐来确定每次投篮是命中还是未命中,并在俯视球场图上绘制每次投篮,并显示投篮命中率。 sam3.1 + vitpose-plus-large

如何运行

  • 每个演示文件夹都有自己的 README,包含设置和说明。
  • 还有一个单一的浏览器应用,让您无需逐个项目设置即可试用大多数演示:
    1. 创建环境:conda env create -f environment.yml(或 pip install -r requirements.txt)
    2. 激活它并运行 python app.py
    3. 在浏览器中打开 http://127.0.0.1:7860
  • 在应用中,您可以上传片段、裁剪并分析。
  • 无需 API 密钥——有一个匿名的限速层级。您可以粘贴 VLM Run 密钥或设置 VLMRUN_API_KEY 环境变量以获得更高的限制。
  • 两个演示不在浏览器应用中:rock_climbing_3d(因为它需要 LiDAR 捕获)和 push_ups。
  • ffmpeg 是必需的。

许可证

Apache-2.0。

备注

  • README 包含大多数项目的演示视频和截图(dance_sync、pull_ups、basketball、deadlift 和 rock_climbing_3d 的 YouTube 链接;其他项目的静态图片)。
  • 模型通过 VLM Run 网关访问,这就是 API 密钥可选但建议用于更高使用限制的原因。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目