OpenGVLab/Ask-Anything

해결하는 문제

Ask-Anything (VideoChat 제품군)은 비디오 및 이미지의 내용에 대해 자연어로 대화할 수 있는 방법을 제공합니다. 이는 복잡한 비디오 이해 문제를 해결하여 사용자가 비디오의 시각적 콘텐츠를 기반으로 질문을 하고 상세한 답변을 받을 수 있도록 합니다.

작동 방식

이 프로젝트는 서로 다른 대규모 언어 모델(LLM) 백엔드를 활용하는 여러 버전의 VideoChat을 구현합니다. 모델이 비디오 및 이미지 채팅을 위해 지시 튜닝된 엔드 투 엔드 챗봇 방식을 제공합니다. 또한 ChatGPT, StableLM, MOSS와 같은 외부 LLM과의 명시적 통신뿐만 아니라 MiniGPT-4를 통한 Vicuna와의 암묵적 통신도 지원합니다.

대상

멀티모달 AI를 연구하는 연구자 및 개발자, 특히 비디오 이해, 비디오-언어 모델 및 시각적 미디어를 위한 엔드 투 엔드 대화형 AI에 관심이 있는 분들을 대상으로 합니다.

주요 특징

• 다양한 모델 변체: VideoChat, VideoChat2, VideoChat3를 포함하며, 고해상도 데이터용 VideoChat2_HD 및 속도 향상을 위한 VideoChat2_phi3와 같은 특화된 버전을 제공합니다.
• 지시 튜닝: 효과적인 튜닝을 위해 200만 개의 다양한 지시 데이터로 구성된 대규모 데이터셋을 사용합니다.
• 폭넓은 LLM 지원: ChatGPT, StableLM, MOSS, Vicuna를 포함한 다양한 백엔드와 호환됩니다.
• 포괄적인 벤치마킹: 비디오 이해을 위한 포괄적인 벤치마크인 MVBench를 포함합니다.
• 장편 비디오 지원: LangChain과 Whisper를 통합하여 1분 이상의 비디오를 처리할 수 있습니다.