Awesome-Temporal-Action-Detection-Temporal-Action-Proposal-Generation

시간적 행동 감지 및 관련 작업에 관한 연구 논문을 수집한 읽기 목록입니다. temporal이라는 단어는 "시간 기반"을 의미합니다: 이 논문들은 비디오에서 행동이 언제 발생하는지에 관한 것입니다.

프로젝트 내용

이것은 링크 모음이며 소프트웨어가 아닙니다. 실행할 수 없습니다. 단지 수백 개의 논문을 탐색 가능한 인덱스로 정리합니다. 각 항목은 연구 논문에 연결됩니다. 일부 항목은 코드 저장소, 블로그 게시물 또는 비디오 강연에도 연결됩니다.

핵심 작업

시간적 행동 감지(이 목록의 주요 주제)는 다음을 의미합니다:

구조화되지 않은 비디오가 주어졌을 때, 인간 행동이 시간적으로 언제 시작하고 끝나는지, 그리고 그 행동이 무엇인지 찾는 것입니다.

예: 감시 비디오에는 "때리기"와 "달리기"가 별도의 행동으로 포함될 수 있습니다. 목표는 각각의 정확한 시작 시간과 종료 시간을 표시하는 것입니다.

목록이 다루는 내용

1. 시간적 행동 프로포절 생성

행동을 감지하기 전에 많은 시스템은 먼저 프로포절(행동을 포함할 수 있는 후보 시간 창)을 생성합니다. 이것은 자체 논문이 있는 별도의 연구 라인입니다.

2. 시간적 행동 감지(지도 학습)

주류 연구 분야입니다. 논문은 전체 라벨(시작 시간, 종료 시간, 행동 클래스)이 있는 훈련 데이터를 가정합니다.

3. 약한 지도 감지

덜 상세한 라벨로 훈련합니다. 정확한 시간을 제공하는 대신 모델에게 "이 비디오 어딘가에 때리기 행동이 있다"고만 알려줍니다. 모델은 스스로 타이밍을 알아내야 합니다.

4. 반지도 감지

라벨이 있는 비디오와 없는 비디오의 혼합으로 훈련합니다. 모델은 라벨이 있는 것을 앵커로 사용하고 많은 라벨이 없는 것에서도 학습하려고 합니다.

5. 온라인 행동 감지

비디오가 재생되는 동안 실시간으로 행동을 감지합니다. 전체 비디오를 기다릴 필요가 없습니다. 실시간 시스템에는 이것이 필요합니다.

6. 개방형 어휘 감지

훈련 중에 한 번도 본 적 없는 행동을 언어 설명으로 감지합니다. 예: "달리기"와 "점프"로 훈련된 시스템은 텍스트 설명에서 "스케이트보드"도 인식해야 합니다.

7. 사전 훈련된 모델 리소스

사전 훈련된 비디오 인코더(대규모 비디오 데이터로 훈련됨)를 제공하는 5개의 논문으로, 새로운 감지 작업에 재사용할 수 있습니다. 예: BSP (ICCV 2021) 및 TSP.

8. ActivityNet 챌린지

2021 ActivityNet 대회(행동 감지 벤치마크 대회)에 대한 링크와 Alibaba DAMO Academy의 강연 녹화 링크.

목록 구성 방식

각 주제에 대해 논문은 발행 연도(2016–2026)별로 그룹화됩니다. 이를 통해 분야의 발전을 쉽게 추적할 수 있습니다.

• 2026년 항목은 arXiv로 표시됩니다.
• 오래된 항목("이전" 섹션)은 2016–2017년으로 거슬러 올라갑니다.

목록의 링크 유형

• 논문 링크(대부분): arXiv, IEEE Xplore, CVF - Open Access (CVPR/ICCV).
• 코드 링크(일부 항목): 논문을 구현한 GitHub 저장소.
• Zhihu 링크(중국 블로깅 플랫폼): 특정 논문에 대한 중국어 설명.
• 강연 링크: 예: Baidu Pan(파일 공유 서비스)에 호스팅된 VALSE 강연 녹화, 비밀번호 "7y8g".

주목할 만한 세부 사항

• 목록에는 공식 코드(예: TensorFlow, PyTorch, PaddlePaddle)와 비공식 재구현(예: code.PyTorch_unofficial)이 모두 포함됩니다. 이는 항목에 명시적으로 표시됩니다.
• 일부 항목에는 여러 코드 포트가 있습니다(예: BSN에는 TensorFlow 및 PyTorch 버전이 모두 있음).
• 목록은 대회 결과를 표시합니다: 예: RapNet은 "2019 ActivityNet task-1 2nd"(해당 대회에서 2위)로 표시됩니다.

대상 독자

주로 컴퓨터 비전 연구자(대학원생, 박사 과정, 엔지니어)로, 논문, 코드, 기준 구현을 찾고 있습니다. 목록은 초보자를 위한 튜토리얼이나 실습 가이드를 제공하지 않습니다.

요약

간단하고 잘 정리된 참고 문헌 목록입니다. 그 가치는 큐레이션(양질의 논문 선택)과 조직화(하위 작업 및 연도별 그룹화)에서 나오며, 코드나 도구가 아닙니다.