Robbyant/lingbot-world

해결하는 문제

LingBot-World는 고충실도 인터랙티브 비디오 환경을 생성하도록 설계된 오픈 소스 월드 시뮬레이터입니다. 다양한 스타일(사실주의, 과학적, 만화)에 걸쳐 시간적 일관성과 견고한 역학을 유지하면서 실시간 사용자 상호작용과 장기 메모리(분 단위 지평선)를 가능하게 하는 과제를 해결합니다.

작동 방식

Wan2.2 프레임워크를 기반으로 구축된 이 프로젝트는 여러 모델 버전을 제공합니다:

• Base (Cam): 카메라 포즈(내부 매개변수 및 변환 행렬)에 의해 제어됩니다.
• Base (Act): 사용자 친화적인 액션 문자열 인터페이스를 포함하여 특정 동작에 의해 제어됩니다.
• Fast: KV 캐싱과 청크별 처리를 사용하여 인과 추론을 수행하는 가속 버전으로, 16 FPS 출력에 대해 지연 시간을 1초 미만으로 줄입니다.

대상

이 도구는 환경 시뮬레이션을 위한 제어 가능하고 인터랙티브한 월드 모델이 필요한 콘텐츠 제작, 게임 및 로봇 학습 분야의 개발자와 연구자를 대상으로 합니다.

주요 특징

• 실시간 상호작용성: 인터랙티브 렌더링을 위해 1초 미만의 지연 시간을 달성합니다.
• 장기 메모리: 최대 1분 길이의 일관된 비디오를 생성할 수 있습니다.
• 다양한 환경: 사실적인 스타일부터 만화까지 폭넓은 시각적 스타일을 지원합니다.
• 제어 가능한 생성: 카메라 포즈 및 액션 문자열을 통한 제어를 지원합니다.
• 양자화 버전: GPU 리소스가 제한적인 사용자를 위해 4비트 양자화 모델을 제공합니다.