microsoft/LatentSpatialMemory
Latent Spatial Memory for Video World Models
해결하는 문제
이 프로젝트는 명시적 3D 캐시에 의존하는 비디오 세계 모델의 비효율성과 불일치 문제를 해결합니다. 기존 방법은 종종 장면 콘텐츠의 반복적인 RGB 렌더링과 재인코딩을 필요로 하며, 이는 계산 비용이 많이 들고 메모리 집약적입니다.
작동 방식
Latent Spatial Memory는 지속적인 3D 장면 콘텐츠를 RGB 이미지가 아닌 잠재 토큰으로 직접 저장합니다. 초기 관찰에서 지속적인 잠재 캐시를 구축하며, 생성되는 각 비디오 청크에 대해 타겟 뷰 메모리를 읽고, 노이즈 제거 과정에서 이를 사용하며, 업데이트된 정적 장면 콘텐츠를 다시 캐시에 기록합니다.
대상 독자
비디오 세계 모델, 3D 장면 생성 및 비디오 합성에서 효율적인 공간 일관성을 연구하는 연구원 및 개발자.
하이라이트
- 잠재 메모리: 지속적인 3D 장면 컨텍스트를 잠재 공간에서 직접 유지합니다.
- RGB 우회 없음: 반복적인 렌더링 및 재인코딩 주기의 필요성을 제거합니다.
- 메모리 수명 주기: 생성된 청크에 걸쳐 초기화, 읽기, 노이즈 제거 및 업데이트의 전체 주기를 구현합니다.
- 효율성: 훨씬 더 빠른 생성 속도(10.57배)와 대폭 감소된 3D 캐시 메모리 사용량(55배 감소)을 달성합니다.
관련
- 프로젝트
microsoft/World-R1World-R1은 기본 모델 아키텍처를 변경하지 않고 생성된 비디오를 3D 제약과 정렬함으로써 텍스트‑투‑비디오 생성에서 3D 기하학적 일관성을 향상시키는 강화 학습 프레임워크입니다.
- 프로젝트
ZiYang-xie/WorldGenWorldGen은 텍스트 프롬프트나 이미지를 몇 초 만에 몰입형 3D 씬으로 생성하는 도구이며, Gaussian Splatting과 메쉬 출력 모두를 지원해 VR, 게임, 시뮬레이션에 활용할 수 있습니다.
- 프로젝트
Vchitect/Latte고품질 비디오 생성을 위한 잠재 확산 트랜스포머로, 텍스트에서 비디오 및 텍스트에서 이미지 작업을 모두 지원합니다.
- 프로젝트
TencentCloud/TencentDB-Agent-MemoryTencentDB Agent Memory는 LLM 에이전트를 위한 오픈소스 메모리 허브입니다. 대화를 캡처하고, 재사용 가능한 기술을 추출하며, 문서에서 Wiki를 구축하고, 코드를 CodeGraph로 인덱싱합니다. 중앙 UI(Memory Hub)를 통해 팀은 자산을 관리하고, 세밀한 ACL을 설정하며, 특정 메모리 조각을 개별 에이전트에 바인딩할 수 있습니다. 에이전트는 통합된 프록시와 통신하므로 모든 프레임워크(Claude Code, DeepSeek Harness, OpenClaw 등)가 코드 변경 없이 동일한 메모리를 사용할 수 있습니다. 벤치마크에 따르면 페르소나 유지율이 59% 향상되었습니다. 저장소는 원클릭 Docker 배포, 마이그레이션 도구, 제로 구성 콜드 스타트 및 추가 통합을 위한 로드맵을 제공합니다.
- 프로젝트
Robbyant/lingbot-mapLingBot‑Map은 스트리밍 영상에서 실시간으로 3D 포인트 클라우드를 재구성하는 피드포워드 트랜스포머로, 페이지 기반 KV 캐시(FlashInfer)와 선택적 스카이 마스킹을 사용합니다. 인터랙티브 및 오프라인 데모 스크립트, 사전 학습된 체크포인트를 제공하며, 윈도우 기반 추론을 통해 매우 긴 시퀀스를 지원합니다.