sotayang/Awesome-Streaming-Video-Understanding

解決する課題

従来の動画理解モデルは、質問に答える前に動画全体を処理する必要があります。このリポジトリは、より難しく、より実用的な問題に焦点を当てています。それは、フレームごとに進行中の動画を処理し、いつ話すべきか、黙るべきか、詳細を尋ねるべきかを決定するAIアシスタントを構築する方法です。このリポジトリは、常時稼働でインタラクティブな動画AIシステムを構築するために必要なすべてを開発者や研究者が簡単に見つけられるよう、優れた研究をまとめています。

仕組み

リストは、ストリーミング動画理解における2つの中核的な課題に基づいて整理されています。1つ目の課題は、いつ行動するかを決定することです。モデルは、特殊トークンを予測して沈黙を保つ、個別の検出器を使用する、または応答をトリガーするために不確実性をチェックするなどの手法を使用します。もう1つの課題は、長く連続するストリームを効率的に処理し続ける方法です。これには、メモリ/キャッシュの管理、履歴の圧縮、検索の使用、計算のスパース化などの方法が含まれます。このリポジトリはまた、これらのシステムを評価するために使用される主要なベンチマークとデータセットをグループ化し、包括的なサーベイ論文も含まれています。

対象読者

リアルタイムで常時稼働する動画AIの最前線を探求する研究者と実務者。学術研究の参考資料として、またリアルタイムの動画アシスタント（リアルタイムナレーター、フィットネスコーチ、監視モニター、具現化されたロボットなど）を開発する開発者向けの実用的なガイドとしても機能します。

ハイライト

• プロアクティブおよびリアクティブなストリーミングモデルをカバーする、リンク、発表会場、リリース日を含む100以上の論文のキュレーションリスト
• マルチターンダイアログ、リアルタイムキャプション、プロアクティブなタイミングを評価するベンチマークとデータセットの専用セクション
• 付随するサーベイ論文「Towards Online Interactors: A Comprehensive Survey on Streaming Video Understanding」を含む
• メソッドファミリー（トークンベースのトリガー、分類ヘッド、メモリ管理など）ごとに整理されており、簡単に比較できます
• 積極的にメンテナンスされており、歓迎されるコントリビューションポリシー（PR歓迎）