sotayang/Awesome-Streaming-Video-Understanding

해결하는 문제

기존의 비디오 이해 모델은 질문에 답하기 전에 전체 비디오를 처리해야 합니다. 이 저장소는 더 어렵고 실용적인 문제에 초점을 맞춥니다. 즉, 프레임 단위로 진행 중인 비디오를 처리하고 언제 말하고, 침묵하고, 더 자세한 내용을 물어볼지 결정하는 AI 어시스턴트를 구축하는 방법입니다. 이 저장소는 항상 켜져 있고 상호작용하는 비디오 AI 시스템을 구축하는 데 필요한 모든 것을 빌더와 연구자가 찾을 수 있도록 최고의 연구를 수집합니다.

작동 방식

목록은 스트리밍 비디오 이해의 두 가지 핵심 과제를 중심으로 구성됩니다. 한 가지 과제는 언제 행동할지 결정하는 것입니다. 모델은 특수 토큰을 예측하여 침묵을 유지하거나, 별도의 탐지기를 사용하거나, 불확실성을 확인하여 응답을 트리거하는 등의 기술을 사용합니다. 다른 과제는 길고 연속적인 스트림을 효율적으로 계속 처리하는 방법입니다. 여기에는 메모리/캐시 관리, 기록 압축, 검색 사용, 계산 희소화 등의 방법이 포함됩니다. 이 저장소는 또한 이러한 시스템을 평가하는 데 사용되는 주요 벤치마크와 데이터 세트를 그룹화하고 포괄적인 설문 조사 논문을 포함합니다.

대상 독자

실시간 상시 비디오 AI의 최전선을 탐구하는 연구자와 실무자. 학술 연구의 참고 자료이자 스트리밍 비디오 어시스턴트(실시간 내레이터, 피트니스 코치, 감시 모니터, 구현 로봇 등)를 구축하는 개발자를 위한 실용적인 가이드로도 사용됩니다.

주요 내용

• 링크, 학회, 출시 날짜가 포함된 100개 이상의 논문 큐레이션 목록. 사전 및 사후 대응 스트리밍 모델을 다룹니다.
• 다중 턴 대화, 실시간 캡셔닝, 사전 대응 타이밍을 평가하는 벤치마크 및 데이터 세트 전용 섹션
• 동반 설문 논문 포함: "Towards Online Interactors: A Comprehensive Survey on Streaming Video Understanding"
• 방법군(토큰 기반 트리거, 분류 헤드, 메모리 관리 등)별로 구성되어 쉽게 비교할 수 있습니다.
• 적극적으로 유지 관리되며 기여 정책(PR 환영)