mbzuai-oryx/Video-ChatGPT

해결하는 문제

Video-ChatGPT는 세부적인 동영상 이해의 과제를 해결합니다. 사용자가 동영상의 내용에 대해 의미 있는 자연어 대화를 나누도록 하여, 단순한 분류나 짧은 답변 형식의 질의응답을 넘어섭니다.

작동 방식

이 모델은 대규모 언어 모델(LLM)과 시공간 동영상 표현에 적응된 사전 학습된 시각 인코더를 결합합니다. 이를 통해 시스템은 동영상 프레임과 시간적 시퀀스를 처리하여 시각 입력에 기반한 텍스트 응답을 생성할 수 있습니다.

대상 사용자

다중모달 AI, 동영상 분석, 대화형 AI에 종사하는 연구자 및 개발자 중에서 복잡한 동영상 추론, 행동 인식, 시간적 이해가 가능한 시스템이 필요한 사람들을 대상으로 합니다.

주요 특징

• VideoInstruct100K: 훈련에 사용되는 10만 개의 고품질 동영상-지시 쌍으로 구성된 데이터셋.
• 정량적 평가 프레임워크: 동영상 기반 대화형 모델을 평가하기 위한 최초의 전용 프레임워크.
• 광범위한 기능: 동영상 추론, 창의적 생성, 공간적 및 시간적 이해, 행동 인식이 가능합니다.
• 최첨단 성능: Video LLaMA 및 Video Chat과 같은 다른 대화형 모델과 비교해 여러 가지 제로샷 QA 벤치마크에서 뛰어난 성능을 보입니다.