MCG-NJU/VideoChat3

해결하는 문제

VideoChat3는 세밀한 동작 분석, 긴 영상 추론, 정확한 시간적 접지(temporal grounding), 실시간 능동적 응답 등 다양한 작업을 효율성 저하나 중요한 시각적 증거 손실 없이 처리할 수 있는 범용 비디오 모델을 만드는 과제를 해결합니다.

작동 원리

이 모델은 4B 파라미터의 멀티모달 대규모 언어 모델(MLLM)로, 비디오 처리를 최적화하기 위해 두 가지 핵심 기술 혁신을 활용합니다:

1. I3D-ViT: 이 구성 요소는 16배의 시공간 압축을 제공하여 필수적인 증거는 유지하면서 중복된 시각적 토큰을 줄입니다.
2. 적응형 프레임 해상도: 모델은 더 자세한 시각적 검사가 필요할 때만 동적으로 프레임 해상도를 높여 증거 기반 스트리밍을 가능하게 합니다.

이 모델은 Academic2M, LV116K, OL617K라는 세 가지 대규모 데이터셋으로 학습되었습니다.

대상 사용자

이 프로젝트는 비디오 이해, 멀티모달 LLM, 그리고 짧은 동작과 1시간 분량의 긴 영상 콘텐츠를 모두 효율적으로 처리해야 하는 애플리케이션을 연구하는 AI 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 범용적 능력: 동작 분석, 긴 영상 추론, 시간적 접지, 온라인 능동적 응답을 단일 모델로 처리합니다.
• 토큰 효율성: I3D-ViT를 사용하여 시공간적 세부 정보를 잃지 않고 시각적 데이터를 압축합니다.
• 적응형 인식: 시각적 세부 정보의 필요성에 따라 해상도를 동적으로 조정합니다.
• 완전 공개: 모델 가중치, 학습 코드, 전체 학습 데이터셋을 공개적으로 제공합니다.