mbzuai-oryx/Video-ChatGPT

解決的問題

Video-ChatGPT 解決了詳細影片理解的挑戰。它允許使用者就影片內容進行有意義的自然語言對話，超越簡單的分類或短答案問答。

工作原理

該模型結合大型語言模型（LLM）與一個經過時空影片表徵適應的預訓練視覺編碼器。這使得系統能夠處理影片幀與時間序列，根據視覺輸入產生文字回應。

適用對象

從事多模態 AI、影片分析與對話式 AI 的研究人員與開發者，需要一個具備複雜影片推理、動作辨識與時間理解能力的系統。

主要亮點

• VideoInstruct100K：用於訓練的 10 萬筆高品質影片-指令對資料集。
• 定量評估框架：首個專為基準測試基於影片的對話模型而設計的框架。
• 廣泛能力：具備影片推理、創意生成、空間與時間理解以及動作辨識能力。
• 最尖端性能：在多個零樣本問答基準測試中，優於 Video LLaMA 和 Video Chat 等其他對話模型。