jeremyipark/vision-demos

Fun real-world computer vision demos!

このプロジェクトについて

vision-demos は、小規模で実用的なコンピュータビジョンデモプログラムのコレクションです。各プログラムはビデオクリップを受け取り、AI モデルを使用してその中で起こっていること(主に人間の動きやスポーツ)を分析します。デモは独立しており、それぞれ独自のフォルダと README があります。

デモ

デモ 機能 使用される AI モデル
dance_sync 同じ振り付けを行う2人のダンサーを比較し、類似度スコアを提供します。 vitpose-plus-large(ポーズ検出)
chin_ups クリップ内の懸垂の回数を数え、各レップの上げ下げのフェーズを計時します。 vitpose-plus-large
pull_ups 懸垂のレップ数を数え、各プルを計時し、アスリート自身の測定されたデッドハングと比較して、各レップを「フル」または「パーシャル」の可動域としてマークします。 vitpose-plus-large
push_ups 横からのビデオから腕立て伏せのレップ数を数え、各プッシュを計時し、各レップが完全な可動域とまっすぐな背中であるかをチェックします。 vitpose-plus-large
rock_climbing ボルダリングウォールのホールドを識別し、クライマーが使用したホールドとその順序を示し、同じルートの異なる試みを比較します。 sam3.1(画像セグメンテーション)+ vitpose-plus-large
rock_climbing_3d rock_climbing と同じアイデアですが、深度付き(iPhone LiDAR)で録画されたビデオから。壁、ホールド、クライマーを3Dで再構築し、ルートをメートル単位で測定します。 sam3.1 + vitpose-plus-large
running ランナーのケイデンス(1分あたりの歩数)を測定し、各足の着地を計時し、接触時の膝の角度を平均します。 vitpose-plus-large
deadlift デッドリフトのレップ数を数え、各レップの背中をまっすぐまたは丸めに分類し、その判定の確率を提供します。 sam3.1 + vitpose-plus-large + gemma-4-26b-a4b-it(言語モデル)
basketball ボールがリムを通過するのを追跡して各シュートが成功か失敗かを判断し、各シュートをオーバーヘッドコート図にプロットし、フィールドゴール率を表示します。 sam3.1 + vitpose-plus-large

実行方法

  • 各デモフォルダには、セットアップと手順を含む独自の README があります。
  • また、プロジェクトごとのセットアップなしでほとんどのデモを試すことができる単一のブラウザアプリもあります。
    1. 環境を作成します:conda env create -f environment.yml(または pip install -r requirements.txt)
    2. アクティベートして python app.py を実行します
    3. ブラウザで http://127.0.0.1:7860 を開きます
  • アプリでは、クリップをアップロードし、トリミングし、分析します。
  • API キーは不要です。匿名のレート制限付きティアがあります。VLM Run キーを貼り付けるか、VLMRUN_API_KEY 環境変数を設定して、より高い制限を得ることができます。
  • 2つのデモはブラウザアプリには含まれていません:rock_climbing_3d(LiDAR キャプチャが必要なため)と push_ups。
  • ffmpeg が必要です。

ライセンス

Apache-2.0。

注記

  • README には、ほとんどのプロジェクトのデモビデオとスクリーンショットが含まれています(dance_sync、pull_ups、basketball、deadlift、rock_climbing_3d の YouTube リンク、その他の静的画像)。
  • モデルは VLM Run ゲートウェイを通じてアクセスされるため、API キーはオプションですが、より高い使用制限には推奨されます。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト