NikoDemon80/ComfyUI-H3-Motion-Context
Clip chaining for MiniMax H3 in ComfyUI - motion and audio genuinely continue across joins
해결하는 문제
이 프로젝트는 여러 MiniMax H3 비디오 및 오디오 클립을 연결하여 컷 사이의 모션과 소리가 끊김 없이 이어지도록 하는 방법을 제공합니다. 표준 앵커링 방법을 사용하여 비디오 생성을 확장하려고 할 때 일반적으로 발생하는 색상 드리프트, 이미지 연화(softening), 오디오 '틱' 또는 재시작과 같은 일반적인 문제를 방지합니다.
작동 방식
이 시스템은 특수 노드를 사용하여 이전 클립의 잠재 표현(영상과 소리 모두)의 끝부분을 잘라내어 다음 생성에 공급합니다. 픽셀로 디코딩했다가 다시 인코딩하는 대신 잠재 표현을 직접 다룸으로써 비트 단위의 정확도를 유지하고 품질 저하를 방지합니다. 또한 고정된 오디오의 시간 좌표를 재작성하여 모델이 이를 별도의 비슷한 소리의 클립이 아닌 기존 트랙의 연속으로 취급하도록 합니다.
대상 사용자
결합 지점에서 보이거나 들리는 이음새 없이 동기화된 오디오가 포함된 더 길고 일관된 비디오를 만들고자 하는 ComfyUI 및 MiniMax H3 모델 사용자를 위한 프로젝트입니다.
주요 특징
- 잠재 표현 기반 체이닝: 픽셀로 디코딩하는 손실이 많은 왕복 과정을 피하여 색상 드리프트와 이미지 연화를 방지합니다.
- 오디오 연속성: 오디오가 재시작되거나 '커버 밴드' 모방처럼 들리지 않고 단일 트랙으로 계속 이어지도록 보장합니다.
- H3 모션 컨텍스트 저장/로드: ComfyUI에서 순환 연결 오류를 피하기 위해 다른 생성 실행 간에 잠재 표현을 전달하는 전용 노드입니다.
- 심 프로브(Seam Probe): 결합이 진정한 연속인지 그럴듯한 모방인지 측정하는 내장 도구입니다.
- 안전 검사: 소프트웨어 업데이트 후 잘못된 출력을 방지하기 위해 렌더링 전에 ComfyUI의 H3 레이아웃 연산을 자동으로 검증합니다.
관련
- 프로젝트
- Dispatch
- 프로젝트
- 프로젝트
- 프로젝트