Enderfga/SolarRenderer

SolarRenderer는 거친 "구조 비디오"—그레이 박스 목업, 의미론적 맵, 스켈레톤, 깊이 데이터, 바디 메시, 또는 이전에 본 적 없는 스케치까지—를 완성되고 세련된 비디오로 변환하는 도구입니다. 선택적으로 첫 프레임과 텍스트 프롬프트를 제공하여 최종 모습(포토리얼, 애니메이션, 픽셀 아트, 잉크 등)을 제어할 수 있습니다.

작동 방식: MiniMax-H3라는 비디오 모델을 기반으로 두 개의 작은 어댑터 모듈(LoRA)을 추가합니다. 하나의 어댑터는 구조 입력을 이해하는 데 도움을 주고, 다른 하나는 단 4단계 생성으로 전체 클립을 생성할 수 있게 합니다. README에 따르면 이는 일반적인 50단계 접근 방식보다 12.3배 빠릅니다. 동일한 어댑터의 특수 "블록 인과" 버전은 비디오를 블록 단위로 스트리밍하여 각 청크가 준비되는 즉시 표시합니다.

주요 하이라이트:

• 하나의 모델, 모든 구조 — 구조 유형별 별도 분기나 레이블 불필요. 프롬프트가 구조가 무엇인지 지정하기만 하면 됩니다.
• 빠름 — 수십 단계 대신 4단계.
• 유연한 스타일 — 동일한 구조를 첫 프레임과 프롬프트로 설정된 다양한 시각적 스타일로 렌더링할 수 있습니다.
• 스트리밍 — 긴 클립의 블록 단위 출력.
• 오픈 벤치마크 — 208개의 어려운 테스트 케이스와 53개의 보류 클립, 점수 코드와 모든 심사 결과 포함.

실행 방법: Hugging Face 온라인 데모를 통해 브라우저에서 시도(설치 불필요), 단일 GPU에서 참조 Python 스크립트 사용, ComfyUI 노드 워크플로우로 실행(저메모리 버전은 RTX 4090과 같은 16GB GPU에 적합), 또는 Reactor 플랫폼에서 스트리밍 서비스 배포(커뮤니티 기여, 4개의 B200 GPU에서 검증됨)가 가능합니다.

설정: 저장소를 클론하고, 종속성을 설치하고, 기본 모델과 두 개의 LoRA 가중치 파일을 다운로드한 다음, 구조 비디오, 선택적 첫 프레임, 프롬프트로 렌더링 스크립트를 실행합니다. 포함된 예제는 신스웨이브 고속도로 장면입니다: 의미론적 맵 입력, 네온 렌더 출력.

라이선스: 코드는 Apache 2.0입니다. 모델 가중치는 MiniMax H3 커뮤니티 라이선스를 따르며, 지역 제한(EU, 영국, 한국, 미국 제외)과 허용 사용 정책이 포함됩니다. 4단계 LoRA는 동일한 라이선스 하에 다른 모델(DMAD)에서 미세 조정되었습니다.

크레딧: SolarRenderer는 비디오 월드 모델을 위한 SolarWM 프레임워크를 기반으로 구축되었으며, MiniMax-H3와 DMAD를 기반으로 인정합니다.