yoloytang/Awesome-Video-LMM-Post-Training
🔥🔥🔥 Latest Papers, Codes and Datasets on Video-LMM Post-Training
해결하는 문제
이 프로젝트는 대규모 다중 모드 모델(LMM)이 비디오 콘텐츠에 대해 추론하는 방법을 개선하는 과제를 다룹니다. 연구자들이 모델이 단순한 설명을 넘어 복잡한 다단계 논리적 추론으로 나아가는 데 도움이 되는 사후 훈련 기술의 발전을 추적할 수 있는 엄선되고 체계적인 리소스를 제공합니다.
작동 방식
이 저장소는 최신 연구를 네 가지 주요 범주로 구성합니다:
- 강화 비디오 LMM: 강화 학습(RLHF 또는 DPO 등)을 사용하여 모델을 인간의 선호도에 맞추고 사실적 정확성을 향상시키는 방법.
- 추론을 위한 SFT: 추론 중심 데이터 세트에 대한 지도 미세 조정 기술로, 종종 체인 오브 생각(CoT)을 통합하여 모델이 비디오 작업을 통해 생각하는 방법을 가르칩니다.
- 테스트 시간 확장: 추가 훈련 없이 추론(추론) 중 성능을 향상시키는 전략(예: 에이전트 프레임워크, 도구 사용, RAG).
- 벤치마크: 이러한 고급 추론 능력을 측정하고 평가하기 위해 특별히 설계된 도전적인 데이터 세트 모음.
대상 독자
이 리소스는 비디오 이해, 다중 모드 AI 또는 모델 정렬에 종사하는 AI 연구자, 머신 러닝 엔지니어 및 개발자를 위해 설계되었으며, 빠르게 진화하는 비디오 LMM 사후 훈련 환경을 최신 상태로 유지하려는 사람들을 대상으로 합니다.
주요 특징
- 학술 논문, 코드 저장소 및 데이터 세트의 포괄적이고 분류된 목록.
- R1 스타일 추론 및 프로세스 기반 보상과 같은 최신 연구 동향에 중점을 둡니다.
- 비디오 추론의 분류 체계와 최신 기술을 심층적으로 다루는 동반 설문 조사 논문.
- 풀 리퀘스트를 통한 기여를 환영하는 오픈 소스, 커뮤니티 중심 저장소.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트