Robbyant/lingbot-va
[RSS 2026] Causal video-action world model for generalist robot control
해결하는 문제
LingBot-VA는 로봇 제어에서 동시에 세계 모델링과 행동 추론을 수행하는 문제를 해결합니다. 시각적 동역학 예측과 행동 생성을 통합함으로써 샘플 효율성 향상, 장기 목표 성공률 향상, 새로운 장면에 대한 일반화 능력 향상을 목표로 합니다.
작동 방식
이 프로젝트는 자기회귀(AR) 확산 프레임워크를 구현합니다. 시각적 동역학과 행동 추론을 하나의 시퀀스 내에서 교차하여 처리하는 이중 스트림 Mixture-of-Transformers (MoT) 아키텍처를 사용합니다. 고효율 실행을 위해 비동기 실행(Asynchronous Execution)과 KV 캐시를 활용합니다. 시스템은 원시 픽셀이 아닌 Wan2.2 VAE를 통해 처리된 동영상 잠재 표현을 기반으로 작동하며, FSDP를 사용한 분산 학습을 통해 사용자 정의 로봇 조작 데이터셋에 대한 사후 학습을 지원합니다.
대상 사용자
이 프레임워크는 로봇 제어, 시각적 세계 모델링, 몸을 가진 AI에 종사하는 로봇 연구자 및 개발자들을 위한 것으로, 사용자 정의 조작 데이터셋에서 모델을 피니튜닝하고자 하는 사람들을 대상으로 합니다.
주요 특징
- 통합 아키텍처: 시각적 동역학 예측과 행동 추론을 하나의 교차 시퀀스에 통합.
- 효율적인 실행: KV 캐시와 비동기 실행을 갖춘 이중 스트림 MoT 아키텍처 사용.
- 고성능: RoboTwin 2.0 및 LIBERO 벤치마크에서 최고 수준의 성공률 달성.
- 사용자 정의 가능: LeRobot 형식으로 데이터 변환 및 잠재 표현 추출을 포함한 사용자 정의 데이터셋에 대한 사후 학습을 위한 완전한 파이프라인 제공.
관련
- 프로젝트
EternalEvan/AstraAstra는 자기회귀 확산 트랜스포머를 사용하여 현실적인 동작 조건부 장기 비디오 예측을 생성하는 대화형 월드 모델입니다.
- 프로젝트
Robbyant/lingbot-vla-v2LingBot‑VLA 2.0은 로봇을 위한 오픈소스 Vision‑Language‑Action 파운데이션 모델입니다. 다양한 로봇 형태를 55차원 동작 벡터로 통합하고, MoE 레이어와 듀얼 쿼리 증류(깊이 + 미래 비디오)를 사용하여 예측 역학을 학습하며, 약 6만 시간의 로봇 및 에고센트릭 비디오 데이터로 학습되었습니다. 이 저장소는 conda 기반 설치, 6B 파라미터 체크포인트 다운로드 스크립트, 데이터 준비 도구, 사용자 정의 데이터셋에 대한 사후 학습, RoboTwin 벤치마크 및 실제 로봇에서의 평가 도구를 제공합니다. 보고된 결과에 따르면 양팔 및 이동 조작 작업에서 1.0 버전 대비 눈에 띄는 성능 향상을 보입니다.
- 프로젝트
hao-ai-lab/FastVideoFastVideo는 비디오 확산 모델의 훈련, 미세 조정, 실시간 추론을 위한 오픈소스 프레임워크입니다. 스파스 어텐션 기반 교체, 확장 가능한 멀티 GPU 훈련, 그리고 다양한 플랫폼 지원(NVIDIA GPU, Apple Silicon(MXL을 통한), ARM DGX Spark)을 제공합니다. CLI, Python API, 실시간 비디오 편집 앱인 Dreamverse를 포함하고 있습니다. `uv`를 통해 설치하고 몇 줄의 파이썬 코드로 비디오 생성을 시작할 수 있습니다.
- 프로젝트
- 프로젝트
Robbyant/lingbot-mapLingBot‑Map은 스트리밍 영상에서 실시간으로 3D 포인트 클라우드를 재구성하는 피드포워드 트랜스포머로, 페이지 기반 KV 캐시(FlashInfer)와 선택적 스카이 마스킹을 사용합니다. 인터랙티브 및 오프라인 데모 스크립트, 사전 학습된 체크포인트를 제공하며, 윈도우 기반 추론을 통해 매우 긴 시퀀스를 지원합니다.