linhuixiao/Awesome-Visual-Grounding

解決する問題

このプロジェクトは、視覚的グラウンディング（自然言語の記述に基づいて画像内の特定のオブジェクトを識別するタスク）の分野の包括的で体系的なサーベイを提供します。古典的な手法、新しいマルチモーダル大規模言語モデル（MLLM）アプローチ、および新興の研究トレンドを含む10年間の研究を追跡する、集中化された最新のリソースの必要性に対応します。

仕組み

このリポジトリは、視覚的グラウンディング文献の厳選されたデータベースとして機能します。研究をさまざまな設定（完全教師あり、弱教師あり、ゼロショットなど）に分類し、論文とコードへのリンク付きで代表的な作品を追跡し、異なるアーキテクチャアプローチの明確な比較を提供します。従来のCNNベースの方法から最新のTransformerおよび視覚言語事前学習（VLP）モデルまで、分野の進化をナビゲートするのに役立つように設計されています。初心者と経験豊富な研究者の両方を対象としています。

対象読者

このリソースは、視覚的グラウンディングの状態を理解し、ベンチマークを見つけ、参照表現理解やフレーズグラウンディングの最新の進歩を特定したいと考えているコンピュータビジョン研究者、学生、実務者を対象としています。

ハイライト

• 過去10年間の視覚的グラウンディング研究の包括的なサーベイ。
• 完全教師あり、弱教師あり、半教師あり、ゼロショット設定を含む方法の詳細な分類。
• グラウンディングマルチモーダルLLM、一般化された視覚的グラウンディング、VLPベースの転移学習などの高度なトピックのカバレッジ。
• 論文とコード実装への直接リンク付きの代表的な作品の厳選リスト。
• 将来の研究洞察と関連するデータセットおよびベンチマークのコレクション。