jeremyipark/vision-demos
Fun real-world computer vision demos!
このプロジェクトについて
vision-demos は、小規模で実用的なコンピュータビジョンデモプログラムのコレクションです。各プログラムはビデオクリップを受け取り、AI モデルを使用してその中で起こっていること(主に人間の動きやスポーツ)を分析します。デモは独立しており、それぞれ独自のフォルダと README があります。
デモ
| デモ | 機能 | 使用される AI モデル |
|---|---|---|
| dance_sync | 同じ振り付けを行う2人のダンサーを比較し、類似度スコアを提供します。 | vitpose-plus-large(ポーズ検出) |
| chin_ups | クリップ内の懸垂の回数を数え、各レップの上げ下げのフェーズを計時します。 | vitpose-plus-large |
| pull_ups | 懸垂のレップ数を数え、各プルを計時し、アスリート自身の測定されたデッドハングと比較して、各レップを「フル」または「パーシャル」の可動域としてマークします。 | vitpose-plus-large |
| push_ups | 横からのビデオから腕立て伏せのレップ数を数え、各プッシュを計時し、各レップが完全な可動域とまっすぐな背中であるかをチェックします。 | vitpose-plus-large |
| rock_climbing | ボルダリングウォールのホールドを識別し、クライマーが使用したホールドとその順序を示し、同じルートの異なる試みを比較します。 | sam3.1(画像セグメンテーション)+ vitpose-plus-large |
| rock_climbing_3d | rock_climbing と同じアイデアですが、深度付き(iPhone LiDAR)で録画されたビデオから。壁、ホールド、クライマーを3Dで再構築し、ルートをメートル単位で測定します。 | sam3.1 + vitpose-plus-large |
| running | ランナーのケイデンス(1分あたりの歩数)を測定し、各足の着地を計時し、接触時の膝の角度を平均します。 | vitpose-plus-large |
| deadlift | デッドリフトのレップ数を数え、各レップの背中をまっすぐまたは丸めに分類し、その判定の確率を提供します。 | sam3.1 + vitpose-plus-large + gemma-4-26b-a4b-it(言語モデル) |
| basketball | ボールがリムを通過するのを追跡して各シュートが成功か失敗かを判断し、各シュートをオーバーヘッドコート図にプロットし、フィールドゴール率を表示します。 | sam3.1 + vitpose-plus-large |
実行方法
- 各デモフォルダには、セットアップと手順を含む独自の README があります。
- また、プロジェクトごとのセットアップなしでほとんどのデモを試すことができる単一のブラウザアプリもあります。
- 環境を作成します:
conda env create -f environment.yml(またはpip install -r requirements.txt) - アクティベートして
python app.pyを実行します - ブラウザで
http://127.0.0.1:7860を開きます
- 環境を作成します:
- アプリでは、クリップをアップロードし、トリミングし、分析します。
- API キーは不要です。匿名のレート制限付きティアがあります。VLM Run キーを貼り付けるか、
VLMRUN_API_KEY環境変数を設定して、より高い制限を得ることができます。 - 2つのデモはブラウザアプリには含まれていません:
rock_climbing_3d(LiDAR キャプチャが必要なため)とpush_ups。 - ffmpeg が必要です。
ライセンス
Apache-2.0。
注記
- README には、ほとんどのプロジェクトのデモビデオとスクリーンショットが含まれています(dance_sync、pull_ups、basketball、deadlift、rock_climbing_3d の YouTube リンク、その他の静的画像)。
- モデルは VLM Run ゲートウェイを通じてアクセスされるため、API キーはオプションですが、より高い使用制限には推奨されます。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト