Real-time generative rendering for interactive worlds, from any visual reference.

EdenLive – 모든 시각적 참조로부터 실시간 생성 렌더링

정의 – EdenLive는 참조 비디오 (게임 또는 시뮬레이션의 저렴한 프록시)를 입력으로 받아 첫 프레임 이미지와 텍스트 프롬프트를 기반으로 고품질의 사실적인 프레임을 실시간으로 생성하는 연구 등급의 실시간 비디오 생성기입니다. 상위 프로그램(게임 엔진, 물리 시뮬레이터 또는 세계 상태를 업데이트하는 모든 코드)은 저품질 비디오만 출력하면 되며, 시각적 합성은 EdenLive가 처리합니다.

주요 기능

기능	상세
실시간 추론	소비자용 RTX 5090에서 720p·24fps 이상 (5B 모델), 14B 모델에서는 480p.
두 가지 추론 모드	양방향 – 모든 프레임을 공동으로 노이즈 제거; 소수 단계 (청크 AR) – 청크 단위 자기회귀 샘플링(청크당 4단계)으로 지연 시간 감소.
모델 크기	5B 및 14B DiT 확산 모델. 각각 양방향 및 소수 단계 변형이 있습니다.
디코더	스트리밍 출력용 LightTAE 기반 TAEHV 디코더; FLUX-2 첫 프레임 렌더링(비상업적)도 지원.
엔드투엔드 파이프라인	텍스트 프롬프트를 플레이 가능한 게임으로 변환하는 스킬(EdenGolem), 웹 프론트엔드, WebRTC 스트리밍 서비스가 포함됩니다.
통합	Reactor 런타임, NVIDIA FlashDreams, LightX2V 가속 라이브러리와 바로 사용 가능.
오픈소스	코드, 추론 스크립트, 실시간 서비스, 모델 가중치(Hugging Face에서 호스팅)

빠른 시작 (개요)

클론 및 환경 설정

git clone https://github.com/VAST-AI-Research/EdenLive.git EdenLive
cd EdenLive
conda create -n edenlive python=3.10 -y && conda activate edenlive
# README에 따라 CUDA 13(또는 CUDA 12.8)용 PyTorch 및 기타 종속성을 설치합니다.

모델 가중치 다운로드 (총 약 210GB)

hf download VAST-AI/EdenLive --local-dir ./models/EdenLive

데모 실행 – 저장소에는 두 개의 프록시 녹화가 포함되어 있습니다. 예: 양방향 5B·720p:
```
python -m edenlive.scripts.infer \
  --config edenlive/configs/wan22_5b_720p_bidir.yaml
```
출력 비디오는 outputs/ 폴더에 기록됩니다.

실시간 서비스 시작 (선택 사항, 인터랙티브 게임용)

cd realtime
bash turn_server.sh          # WebRTC용 TURN 릴레이
bash workbench_bridge.sh    # Claude 기반 브리지 (선택 사항)
bash workbench_flux.sh      # FLUX 첫 프레임 서비스 (비상업적)
bash launch.sh 5b            # 모델 서비스

그런 다음 브라우저에서 http://<host>:8089를 열어 웹 UI를 로드합니다.

저장소 구조 (주요 폴더)

edenlive/ – 오프라인 추론 코드, 모델 래퍼, 유틸리티.
realtime/ – 스트리밍 서비스, WebRTC 연결, FlashDreams 통합, EdenGolem 스킬.
reactor/ – 동기화된 초안 및 생성 재생을 위한 Reactor 런타임과의 선택적 통합.
examples/samples/ – 매니페스트가 포함된 즉시 실행 가능한 프록시 녹화 2개.
models/EdenLive/ – 다운로드한 가중치 파일의 예상 위치.

모델 줌

모델	크기	모드	일반 해상도
`dit-5b`	5B	소수 단계 (청크 AR)	720p (1280×704)
`dit-5b-bidir`	5B	양방향	720p
`dit-14b`	14B	소수 단계	480p
`dit-14b-bidir`	14B	양방향	480p

모든 모델은 Hugging Face의 VAST-AI/EdenLive에서 호스팅됩니다. 저장소에는 필요한 VAE, CLIP, DINOv3 비전 인코더, FLUX-2 첫 프레임 LoRA도 포함되어 있습니다.

라이선스

코드 – Apache 2.0 (realtime/ 서브모듈 포함).
모델 가중치 – 혼합 라이선스:
- DiT, VAE, UMT5, 스케줄러, 디코더: Apache 2.0
- CLIP: MIT
- 비전 인코더 (DINOv3): DINOv3 라이선스
- FLUX-2 (첫 프레임 전용): 비상업적 라이선스 (콘텐츠 필터링 필요).

상업적 사용 시 FLUX 구성 요소의 비상업적 제한을 준수하십시오.

누가 사용할까요?

게임 개발자: 물리 및 AI에 저렴한 프록시 엔진을 사용하고, 시각적 품질은 생성 모델에 위임하려는 분.
연구자: 인터랙티브 월드 모델, 비디오 간 확산, 실시간 텍스트 기반 렌더링을 탐구하는 분.
아티스트: 간단한 설명이 플레이 가능한 장면으로 진화하는 라이브 "텍스트-투-게임" 경험을 원하는 분.

인용 – EdenLive를 사용하여 연구 결과를 발표할 경우 제공된 BibTeX 항목을 인용하십시오.

VAST-AI-Research/EdenLive