yoloytang/Awesome-Video-LMM-Post-Training

🔥🔥🔥 Latest Papers, Codes and Datasets on Video-LMM Post-Training

解決する課題

このプロジェクトは、大規模マルチモーダルモデル(LMM)がビデオコンテンツについて推論する方法を改善するという課題に取り組みます。研究者が、モデルが単純な記述を超えて複雑な多段階の論理的推論へと進むのに役立つポストトレーニング技術の進歩を追跡するための、厳選された体系的なリソースを提供します。

仕組み

このリポジトリは、最新の研究を4つの主要なカテゴリに整理しています:

  • 強化学習ビデオLMM: 強化学習(RLHFやDPOなど)を使用してモデルを人間の好みに合わせ、事実の正確性を向上させる方法。
  • 推論のためのSFT: 推論中心のデータセットでの教師ありファインチューニングを使用する技術。多くの場合、チェーン・オブ・ソート(CoT)を組み込んで、モデルにビデオタスクの考え方を教えます。
  • テスト時スケーリング: 追加のトレーニングなしで推論(推論時)のパフォーマンスを向上させる戦略。エージェントフレームワーク、ツール使用、RAGなど。
  • ベンチマーク: これらの高度な推論能力を測定・評価するために特別に設計された挑戦的なデータセットのコレクション。

対象読者

このリソースは、ビデオ理解、マルチモーダルAI、またはモデルアライメントに取り組むAI研究者、機械学習エンジニア、開発者を対象としており、急速に進化するビデオLMMポストトレーニングの状況を把握したいと考えています。

ハイライト

  • 学術論文、コードリポジトリ、データセットの包括的で分類されたリスト。
  • R1スタイルの推論やプロセスベースの報酬など、最新の研究トレンドに焦点を当てています。
  • ビデオ推論の分類法と最先端技術を深く掘り下げた付随するサーベイ論文。
  • プルリクエストによる貢献を歓迎する、オープンソースでコミュニティ駆動のリポジトリ。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト