jd-opensource/JoyAI-Echo

해결하는 문제

JoyAI-Echo는 장편의 일관된 시청각 콘텐츠를 만드는 과제를 해결합니다. 시간이 지나도 내러티브 연속성을 유지하는 확장 비디오를 생성하는 도구와 탐색에 반응하여 동기화된 환경 음향, 음악, 음성을 제공하는 인터랙티브 월드 모델을 제공합니다.

작동 방식

이 프로젝트는 두 개의 독립적인 모듈로 구성됩니다. Echo-LongVideo 모듈은 메모리 뱅크를 사용하여 여러 샷 간의 일관성을 유지하며 10분 이상 지속되는 비디오 생성을 가능하게 합니다. Echo-WM (월드 모델) 모듈은 옴니모달 엔진으로 기능하여 사용자가 가상 환경을 탐색함에 따라 진화하는 실시간 인터랙티브 시청각 경험을 생성합니다.

대상 사용자

이 프로젝트는 장기 생성 미디어, 인터랙티브 월드 시뮬레이션 및 고급 시청각 합성에 관심이 있는 연구자와 개발자를 대상으로 합니다. 학술 및 비상업적 용도로만 엄격히 사용됩니다.

주요 특징

• 장기 생성: 지속적인 내러티브 메모리를 갖춘 10분 이상의 멀티샷 비디오 제작을 지원합니다.
• 옴니모달 월드 모델링: 지속적인 탐색에 반응하는 동기화된 비디오, 환경 음향, 음악 및 음성을 생성합니다.
• 시뮬레이션 파이프라인: 물리 기반 궤적 생성 및 고품질 렌더링을 위한 Unreal Engine 기반 파이프라인을 포함합니다.
• 소비자 GPU 지원: 소비자급 하드웨어에서 실행되도록 설계된 최적화된 추론 프로필.
• 모듈형 아키텍처: 의존성 충돌을 방지하는 두 개의 독립적이고 자체 포함된 환경.