FluxVLA/FluxVLA

An all-in-one VLA engineering platform for embodied AI — from data to real-robot deployment.

FluxVLA 엔진 – 구현 지능 연구를 위한 원스톱 플랫폼

정의 – FluxVLA 엔진은 연구자와 엔지니어가 로봇용 비전-언어-행동(VLA) 모델을 훈련, 평가, 배포할 수 있게 해주는 오픈소스 엔드투엔드 소프트웨어 스택입니다. 다음을 포함합니다:

통합 구성 및 표준화된 API로 동일한 코드가 시뮬레이션, 워크스테이션, 엣지 디바이스에서 실행될 수 있습니다.
모듈식 구성 요소 (데이터 파이프라인, 모델 백엔드, 보상 모델 트레이너, 추론 런타임)는 전체 시스템을 다시 작성하지 않고도 교체할 수 있습니다.
배포 용이성 – Docker 이미지, Jetson-Orin 지원, Triton 기반 추론, ZMQ 원격 추론 래퍼.

중요성 – 로봇에 바로 사용할 수 있는 VLA 모델을 구축하려면 일반적으로 많은 이기종 도구(시뮬레이터, 대규모 모델 훈련, 하드웨어 드라이버)를 연결해야 합니다. FluxVLA는 이러한 마찰을 제거하여 원시 데이터에서 실제 로봇 실행까지 단일 '엔지니어링 루프'를 제공하며, 학계와 산업계 모두 구현 AI를 실험하는 데 진입 장벽을 낮춥니다.

주요 기능 (README에 설명된 대로)

기능	README 설명
풀스택 플랫폼	데이터 수집, 모델 훈련, 벤치마크 평가(LIBERO, RoboCasa, RoboDojo)부터 실제 로봇 배포(Franka, Oli 휴머노이드, Jetson Orin)까지 모든 것을 처리합니다.
통합 구성	원커맨드 설치 프로그램(`scripts/install_env.sh`)으로 시뮬레이션 전용, 실제 로봇 전용, 또는 풀스택 모드를 지원합니다.
표준화된 인터페이스	동일한 Python API가 시뮬레이터와 하드웨어에서 작동하며, ZMQ를 통한 원격 추론, 가속 추론을 위한 Triton 백엔드를 지원합니다.
모듈 분리	별도의 모델 제품군(SmolVLA, Cosmos3-Edge, GR00T N1.5/N1.7, Qwen3VL, DreamZero, PI0/PI0.5, FastWAM, DiT4DiT)을 교체할 수 있습니다.
배포 용이성	Docker 이미지, Jetson-Orin 플래싱 가이드, RTX-5090 실시간 추론(45Hz), 엣지 추론(7.4Hz).
벤치마크 스위트	LIBERO, RoboCasa GR1, RoboDojo용 사전 훈련된 체크포인트와 스크립트, 상세 성능 테이블 제공.
확장 가능한 파이프라인	FluxDAgger(모델 분리 DAgger), FluxBisim(시뮬레이션 벤치마크), 보상 모델 재가중치(RA-BC/AW-BC).
문서	다국어 문서(EN/中文/日本語), API 참조, 배포 가이드, arXiv 기술 보고서.

성능 하이라이트 (README 테이블에서)

LIBERO 벤치마크 – 최고 평균 점수 약 98% (예: FluxVLA(PI0.5) 평균 97.95%, FluxVLA(DiT4DiT) 98.65%).
RoboCasa GR1 – 최고 모델 FluxVLA(DiT4DiT)가 캐비닛, 서랍, 전자레인지, 일반화 작업에서 평균 성공률 57.25% 달성.
RoboDojo – FluxVLA(PI0.5)가 가장 높은 평균 진행 점수 13.61 및 성공률 **8.83%**를 보여 강력한 장기 지평 및 메모리 능력을 나타냅니다.

시작하기 (설치)

# 새 conda 환경 생성
conda create -n fluxvla python=3.10 -y
conda activate fluxvla

# 원커맨드 설치 프로그램 – 모드 선택
bash scripts/install_env.sh sim-only   # 시뮬레이션 및 벤치마크 전용
# bash scripts/install_env.sh real-only  # 실제 로봇 드라이버 및 원격 추론
# bash scripts/install_env.sh full       # 전체

설치 프로그램은 적절한 CUDA-PyTorch 빌드를 자동으로 선택하고, 건너뛰지 않는 한 HuggingFace에서 RoboCasa 자산을 가져옵니다.

일반적인 워크플로우

구성 – YAML/JSON 실험 파일(환경, 모델, 보상 모델)을 구성합니다.
훈련 – 제공된 스크립트(scripts/train.sh)를 사용하여 훈련합니다. 대규모 모델(Cosmos3-Edge, GR00T, DiT4DiT) 및 체크포인트 없는 GPT-6 Astra 평가를 지원합니다.
평가 – 표준 스위트(LIBERO, RoboCasa, RoboDojo)에서 진행률과 성공률을 기록하는 원라인 명령으로 평가합니다.
배포 – Docker 이미지 빌드, Jetson Orin 플래싱, ZMQ를 통한 원격 추론 실행, 동일한 모델 체크포인트로 실제 로봇(Franka, Oli) 제어.

사용 대상

로봇 공학 연구자 – VLA 실험을 위한 재현 가능한 파이프라인이 필요한 경우.
AI 연구소 – 최첨단 기준선과 새로운 비전-언어-행동 아키텍처를 벤치마킹하려는 경우.
산업 팀 – 구현 AI 제품(창고 픽앤플레이스, 홈 어시스턴트 로봇)을 구축하고 즉시 사용 가능한 배포 스택이 필요한 경우.

더 알아보기

코드 및 체크포인트 – https://huggingface.co/limxdynamics/FluxVLAEngine
기술 보고서 – https://arxiv.org/abs/2609.17210
전체 문서 – https://fluxvla.limxdynamics.com (영어, 중국어, 일본어)
커뮤니티 – 배지 바의 WeChat 및 Feishu 링크에서 지원 및 공지 확인.

결론 – FluxVLA 엔진은 구현 지능 환경에서 비전-언어-행동 모델을 훈련하고 배포하기 위한 진정한 포괄적인 오픈소스 플랫폼으로, 벤치마크, 실제 로봇 데모, 광범위한 배포 도구를 갖추고 있습니다.