Tencent-Hunyuan/Hy-Nomas

Hy-Nomas: 자유 형식의 대화형 세계 생성

Hy-Nomas는 대화형 비디오 세계를 생성하는 Tencent의 오픈소스 모델입니다. 텍스트 프롬프트와 카메라 움직임으로 제어하며, 입력에 반응하는 비디오 세그먼트를 생성합니다. 단일 고성능 GPU(예: RTX 4090)에서 실행되도록 설계되었으며 파인튜닝 도구와 대화형 웹 데모가 포함되어 있습니다.

무엇을 할 수 있나요?

비디오 세계 생성: 연속적이고 탐색 가능한 세계를 형성하는 비디오 세그먼트(예: 5초 클립)를 생성합니다.
다중 턴 제어: 언제든지 텍스트 지침이나 카메라 움직임을 제공할 수 있으며, 모델은 이에 따라 향후 세그먼트를 업데이트합니다.
자유 형식 프롬프트: 객체, 스타일, 장면 또는 동작을 자연어로 설명할 수 있습니다. 고정 템플릿이 필요 없습니다.
카메라 제어: 카메라 궤적(팬, 줌 또는 WASD 스타일 이동 등)을 지정하여 세계를 탐색할 수 있습니다.

주요 기능(README에서)

세그먼트 기반 생성: 모델은 비디오를 세그먼트별로 생성하며, "평생 KV 캐시"를 사용하여 이전 내용을 기억합니다. 이를 통해 세그먼트 간 세계 일관성이 유지됩니다.
증류 추론: 더 빠른 모델 버전으로, 4~8개의 노이즈 제거 단계(많은 대신)와 전용 디코더만 사용하여 실시간 사용에 실용적입니다.
저메모리 추론: 메모리 사용량을 줄여(INT8 가중치, CPU 오프로딩 등) 단일 RTX 4090에서 실행할 수 있습니다.
LoRA 파인튜닝: 작은 어댑터 가중치를 훈련하고 메인 모델에 병합하여 특정 작업(예: 시네마틱 스타일, 로보틱스)에 모델을 적응시킬 수 있습니다.
대화형 데모: 여러 턴에 걸쳐 생성을 제어하고 세그먼트 경계에서 결과를 볼 수 있는 웹 인터페이스입니다.

사용 방법

설정: 사전 패키징된 Docker 이미지(권장)를 사용하거나 Python 3.12+, uv, CUDA 13.0으로 수동 설치할 수 있습니다.
모델 자산: Hugging Face(tencent/Hy-Nomas)에서 모든 가중치를 다운로드합니다. 저장소에는 다양한 체크포인트(기본, 증류, 양자화)와 어댑터(시네마틱, 로보틱스)가 포함되어 있습니다.
추론: 저장소의 스크립트를 실행하거나 Python 통합을 위해 Diffusers 파이프라인(HyNomasModularPipeline)을 사용합니다.
대화형 데모: 호스팅된 온라인 데모를 사용하거나 Reactor 런타임 또는 웹 데모 배포 가이드를 사용하여 자체 데모를 실행합니다.

커뮤니티 통합

여러 타사 프로젝트가 Hy-Nomas 지원을 추가했습니다:

SGLang: 오프라인 비디오 작업 및 실시간 스트리밍용.
ComfyUI: 체인 세그먼트와 카메라 제어가 있는 노드 기반 인터페이스.
Reactor Runtime: 실시간 프롬프트 업데이트와 카메라 제어가 있는 스트리밍 서비스.
WanGP: 키보드 탐색 및 텍스트 기반 이벤트 추가.
Google TPU 데모: TPU에서 실시간 720p 생성 실행.

파인튜닝

자체 비디오 데이터로 Hy-Nomas를 파인튜닝할 수 있습니다:

데이터 준비: 제공된 캡셔닝 하네스를 사용하여 비디오에 주석을 달고 인코딩합니다.
시퀀스 패킹: 효율적인 훈련을 위한 패킹 계획을 구축합니다.
훈련: 제공된 구성을 사용하여 비증류 체크포인트에서 LoRA 어댑터를 훈련합니다.
병합: 훈련된 LoRA 가중치를 증류 체크포인트에 병합하여 추론합니다.

라이선스

Apache 2.0(오픈소스).

자세한 내용은 README를 참조하세요.