linhuixiao/Awesome-Visual-Grounding

해결하는 문제

이 프로젝트는 자연어 설명을 기반으로 이미지에서 특정 객체를 식별하는 작업인 시각적 접지 분야에 대한 포괄적이고 체계적인 서베이를 제공합니다. 고전적인 방법, 새로운 다중 모달 대규모 언어 모델(MLLM) 접근 방식 및 새로운 연구 트렌드를 포함하여 10년간의 연구를 추적하는 중앙 집중식 최신 리소스의 필요성을 해결합니다.

작동 방식

이 저장소는 시각적 접지 문헌의 선별된 데이터베이스 역할을 합니다. 연구를 다양한 설정(완전 지도, 약한 지도, 제로샷 등)으로 분류하고, 논문 및 코드 링크와 함께 대표적인 작업을 추적하며, 다양한 아키텍처 접근 방식의 명확한 비교를 제공합니다. 전통적인 CNN 기반 방법에서 현대 Transformer 및 비전-언어 사전 학습(VLP) 모델에 이르기까지 분야의 진화를 탐색하는 데 도움이 되도록 설계되었습니다. 초보자와 경험 많은 연구자 모두를 대상으로 합니다.

대상 독자

이 리소스는 시각적 접지의 상태를 이해하고, 벤치마크를 찾거나, 지시 표현 이해 및 구문 접지의 최신 발전을 식별하려는 컴퓨터 비전 연구자, 학생 및 실무자를 대상으로 합니다.

주요 특징

• 지난 10년간의 시각적 접지 연구에 대한 포괄적인 서베이.
• 완전 지도, 약한 지도, 반 지도 및 제로샷 설정을 포함한 방법의 상세한 분류.
• 접지 다중 모달 LLM, 일반화된 시각적 접지 및 VLP 기반 전이 학습과 같은 고급 주제의 다룸.
• 논문 및 코드 구현에 대한 직접 링크가 있는 대표적인 작업의 선별된 목록.
• 미래 연구 통찰력 및 관련 데이터셋과 벤치마크의 모음.