OpenVDN/vdn-minimax-h3

해결하는 문제

비디오 생성 모델은 종종 느린 추론 속도로 인해 어려움을 겪습니다. VDN-H3는 비디오 재생 속도보다 더 빠르게 비디오를 생성할 수 있도록 하여 이 문제를 해결하며, 동시에 거의 손실 없는 시각적 품질과 일관성을 유지합니다.

작동 원리

VDN-H3는 MiniMax H3 백본을 기반으로 하는 하이브리드 어텐션 아키텍처를 사용합니다. 시각적 품질을 보존하는 softmax 브랜치와 함께 매우 효율적인 프레임 단위 선형 어텐션 브랜치를 도입했습니다. 이는 별도의 선형 어텐션 브랜치와 두 개의 작은 LoRA 어댑터를 사용하는 플러그 앤 플레이 방식으로 구현되며, 추론 중에 원래 가중치를 변경하지 않고 백본에 병합할 수 있습니다.

대상 사용자

데이터 센터 GPU(B200/H200 등)와 소비자용 GPU(FreeVideo 통합을 통해) 모두에서 고성능 추론이 필요한 비디오 생성 모델 개발자 및 연구원.

주요 특징

• 고속 추론: 8x B200 GPU에서 14.4초 분량의 클립을 엔드투엔드로 약 9초 만에 생성 가능.
• 다양한 생성 모드: 텍스트-비디오(T2VA), 이미지-비디오(I2VA), 첫 프레임 및 마지막 프레임-비디오(FL2VA), 참조 이미지-비디오(Ref2VA-like) 작업을 지원.
• 플러그 앤 플레이 아키텍처: 백본에 병합 가능한 LoRA 어댑터와 선형 어텐션 브랜치 사용.
• 오픈 소스 스택: 가중치, 최적화된 추론 코드 및 학습 레시피에 대한 전체 액세스 제공.