mbzuai-oryx/Video-ChatGPT

何を解決するか

Video-ChatGPTは、詳細な動画理解の課題に対処します。ユーザーが動画の内容について意味のある自然言語での会話を行うことを可能にし、単純な分類や短い回答形式の質問応答を超えています。

動作方法

このモデルは、大規模言語モデル（LLM）と、時空間的な動画表現に適応された事前学習済みの視覚エンコーダーを組み合わせています。これにより、システムは動画フレームと時間的シーケンスを処理し、視覚入力に基づいてテキスト応答を生成できます。

対象ユーザー

マルチモーダルAI、動画分析、会話型AIに取り組む研究者や開発者で、複雑な動画推論、行動認識、時間的理解が可能なシステムを必要とする人向けです。

主な特徴

• VideoInstruct100K: 訓練に使用される10万件の高品質な動画・指示ペアからなるデータセット。
• 定量的評価フレームワーク: 動画ベースの会話型モデルをベンチマークするための最初の専用フレームワーク。
• 広範な機能: 動画推論、創造的生成、空間的・時間的理解、行動認識が可能。
• 最先端のパフォーマンス: Video LLaMAやVideo Chatなど、他の会話型モデルと比較して、複数のゼロショットQAベンチマークで優れた性能を発揮。