MCG-NJU/VideoChat3

解決する課題

VideoChat3は、細粒度の動作分析、長尺動画の推論、正確な時間的グラウンディング、リアルタイムの能動的応答など、多様なタスクを処理できる汎用動画モデルを作成するという課題に取り組んでいます。効率性を犠牲にしたり、重要な視覚的証拠を失ったりすることなく、これらを実現します。

仕組み

これは4Bパラメータのマルチモーダル大規模言語モデル（MLLM）であり、動画処理を最適化するために2つの主要な技術革新を利用しています：

1. I3D-ViT：このコンポーネントは16倍の時空間圧縮を提供し、重要な証拠を保持しながら冗長な視覚トークンを削減します。
2. 適応型フレーム解像度：モデルは、より詳細な視覚的検査が必要な場合にのみ動的にフレーム解像度を上げ、証拠に基づいたストリーミングを可能にします。

このモデルは、Academic2M、LV116K、OL617Kという3つの大規模データセットで学習されました。

対象ユーザー

このプロジェクトは、動画理解、マルチモーダルLLM、および短時間の動作と1時間におよぶ動画コンテンツの両方を効率的に処理する必要があるアプリケーションに取り組むAI研究者や開発者向けに設計されています。

ハイライト

• 汎用的な能力：動作分析、長尺推論、時間的グラウンディング、オンラインでの能動的応答を単一のモデルで処理します。
• トークンの効率性：I3D-ViTを使用して、時空間の詳細を失うことなく視覚データを圧縮します。
• 適応型知覚：視覚的な詳細の必要性に基づいて解像度を動的に調整します。
• 完全オープン：モデルの重み、学習コード、および完全な学習データセットを公開しています。