tschnz/Live-Video-Magnification

解決する課題

LiViM は、血流（脈拍）や微小振動など、人間の目には見えない動画内の微細な動きや色変化を増幅します。ウェブカメラからのライブ映像や録画済みの動画ファイルから、これらの変化をリアルタイムで検出できます。

仕組み

本プロジェクトは MIT CSAIL の研究に基づくオイラービデオ拡大技術を実装しています。動画フレームを処理するために、以下の 3 つのアルゴリズムを使用します。

• Motion (Laplace)：ラプラシアンピラミッドと時間領域 IIR バンドパスフィルタで動きを増幅。
• Motion (Phase)：Riesz ピラミッドとバターワースバンドパスフィルタでノイズを低減しつつ動きを増幅。
• Motion (Color)：ガウシアンピラミッドと FFT バンドパスフィルタをローリングウィンドウで適用し、色変化を増幅。

パフォーマンスを保つため、CPU と GPU（WebGPU 経由）の両方のパイプラインを提供し、GPU エンジンは最新デバイスで 200 倍以上の高速化を実現しています。

想定ユーザー

信号処理や動きの増幅に関心のある研究者、ビデオグラファー、ホビイスト向けで、動画映像中の微細な物理変化を分析したい方に最適です。

ハイライト

• リアルタイム処理：GPU 加速により、ライブウェブカメラキャプチャと動画再生をサポート。
• 柔軟な比較ビュー：処理後、オリジナル、左右または上下に同期したビューを提供。
• ヘッドレスモード：GUI なしで処理済み動画をエクスポートできる CLI ツール。
• カスタマイズ可能なパラメータ：増幅強度、周波数帯、空間カットオフを細かく制御。
• マルチプラットフォーム対応：Windows、Linux、macOS 用のプリビルドパッケージを提供。