gracezhao1997/Awesome-Video-World-Models-with-AR-Diffusion

이것이 무엇인가

이것은 특정 유형의 AI 비디오 모델에 관한 선별된 연구 논문 및 리소스 목록입니다: 자기회귀 확산(AR 확산)으로 구축된 비디오 월드 모델. 이러한 모델은 비디오를 청크 단위로 생성하고(자기회귀), 각 청크는 확산(노이즈를 점진적으로 이미지나 비디오로 변환하는 과정)을 사용하여 생성됩니다. 이 저장소는 이 분야의 연구자, 개발자, 애호가를 위한 포괄적이고 구조화된 가이드를 목표로 합니다.

다루는 내용

목록은 세 가지 주요 차원으로 구성됩니다:

• 알고리즘 기반 – 이러한 모델을 훈련하고, 더 빠르게 실행하고, 더 긴 비디오를 생성하는 방법.
• 실제 응용 – 오픈소스 비디오 기반 모델, 상호작용적 행동 조건 모델, 아바타, 자기중심적 상호작용, 그리고 구현 AI/자율주행에서의 사용.
• 인프라 수준 가속 – 희소 어텐션, 캐싱, 양자화 어텐션, 추측 디코딩과 같은 기술로 이러한 모델을 효율적으로 실행합니다.

주요 기능

• 구조화된 분류법: 논문은 명확한 카테고리로 그룹화되어(목차 참조) 많은 접근 방식을 탐색하는 데 도움이 됩니다.
• 원스톱 인용 컬렉션: 단일 BibTeX 파일(video-world-models.bib)에 모든 논문이 나열되어 있어 LaTeX나 Zotero에 한 번의 클릭으로 가져올 수 있습니다.
• 주간 업데이트: 관리자는 매주 목록을 새로 고쳐 최신 상태를 유지합니다.
• 커뮤니티 기여: 관리자는 누락된 논문을 추가하기 위한 풀 리퀘스트를 명시적으로 환영하며, 더 나은 분류나 종합과 같은 높은 수준의 기여도 받아들입니다.

새로운 하이라이트: minWM

최근 추가된 것은 minWM입니다 – 양방향 텍스트-투-비디오 모델을 행동 조건 비디오 월드 모델로 변환하는 방법을 보여주는 풀스택 오픈소스 프레임워크로, 예제 데이터, 스크립트, 문서가 포함되어 있습니다. 또한 기술 보고서와 Hugging Face의 사전 훈련된 모델도 있습니다.

유지 관리 및 연락처

저장소는 Min Zhao, Hongzhou Zhu, Wenqiang Sun, Bokai Yan이 유지 관리합니다. README에는 그들의 연락처가 있으며, 질문이나 제안이 있으면 연락하라고 요청합니다.

이 저장소 사용 방법

• 연구 가이드로: 카테고리를 탐색하여 비디오 월드 모델링에서 AR 확산의 주요 방법을 발견합니다.
• 인용 도구로: 논문용 BibTeX 파일을 가져옵니다.
• 학습 리소스로: 포함된 논문과 코드/웹사이트 링크를 통해 구현 및 프로젝트 페이지에 직접 접근할 수 있습니다.