Rimagination/h3lite

해결하는 문제

H3 Lite는 소비자용 하드웨어에서 MiniMax H3 동영상 생성 모델을 로컬로 배포하고 실행할 수 있도록 하며, 특히 NVIDIA GPU를 탑재한 Windows 사용자를 대상으로 합니다. 고성능 동영상 생성에 필요한 높은 하드웨어 사양을 낮추기 위해 최적화된 모델 세트(양자화된 버전)와 구조화된 워크플로우를 제공하여 AI 에이전트가 텍스트 프롬프트에서 시작하여 최종 동영상(내장 오디오 포함)까지 자동화할 수 있도록 합니다.

작동 방식

이 프로젝트는 ComfyUI와 통합되며, 두 가지 최적화된 컴포넌트 세트를 제공합니다:

• 세트 A: W4A8 디퓨전 모델과 4B INT4 텍스트 인코더를 사용하여 낮은 VRAM에서 빠른 생성을 가능하게 합니다.
• 세트 B: 4B FP8 텍스트 인코더를 사용하여 더 높은 호환성을 제공합니다.

네 단계의 에이전트 워크플로우를 사용합니다: 의도 라우팅(생성 모드 결정), 참조 앵커링(캐릭터/장면 고정), 프롬프트 강화(간단한 요청을 세부적인 다중모달 설명으로 확장), 생성 및 승인(동영상 생성 및 연속성 확인).

지원되는 모드:

• T2VA: 텍스트 → 동영상(오디오 포함)
• I2VA: 이미지 → 동영상(오디오 포함) (시작 프레임 사용)
• FL2VA: 첫 번째 및 마지막 프레임 → 동영상
• Ref2VA: 여러 이미지, 동영상, 오디오를 참조로 사용

대상 사용자

• NVIDIA GPU를 탑재한 Windows 사용자 (특히 VRAM이 제한된 8GB 또는 16GB 사용자)
• Codex나 WorkBuddy와 같은 AI 에이전트 사용자로, 워크플로우에 로컬 동영상 생성 기능을 추가하고 싶은 사용자
• 동기화된 내장 오디오가 포함된 고품질의 짧은 동영상(보통 5~8초)이 필요한 크리에이터

주요 특징

• 낮은 VRAM 최적화: RTX 4070 랩탑(8GB), RTX 4060 Ti(16GB) 등과 같은 GPU에 특별히 최적화됨
• 에이전트 호환성: AI 에이전트용 '스킬'로 설계되어 설치, 설정, 프롬프트 엔지니어링을 자동으로 처리
• 내장 오디오: 사운드스케이프와 음악이 통합된 동영상 생성 가능
• 실시간 모니터링: 샘플링 진행 상황, VRAM 사용량, 완료 예상 시간을 모니터링할 수 있는 네이티브 Windows GUI 모니터 포함