dexmal/dexbotic
Dexbotic: Open-Source Vision-Language-Action Toolbox
해결하는 문제
Dexbotic은 시각-언어-행동(VLA) 모델을 위한 통합 개발 도구 상자를 제공하여, 신체적 지능을 위한 사전 훈련, 미세 조정, 추론 및 평가 과정을 간소화합니다. 다양한 VLA 알고리즘을 위한 복잡한 환경 설정의 번거로움을 제거하고, 다양한 로봇 플랫폼 간의 훈련 데이터를 표준화된 방식으로 처리할 수 있도록 합니다.
작동 방식
PyTorch 기반으로 구축된 이 도구 상자는 계층적 설정, 팩토리 등록, 엔트리 디스패치로 구성된 모듈식 아키텍처를 사용합니다. 연구자들은 핵심 코드를 재작성하지 않고도 실험 스크립트를 통해 모델을 교체하거나 설정을 수정하거나 새로운 작업을 추가할 수 있습니다. 로컬 소비자용 GPU와 클라우드 훈련 플랫폼을 모두 지원하며, UR5, Franka, ALOHA와 같은 다양한 하드웨어 간 호환성을 보장하는 통합 훈련 데이터 형식을 포함합니다.
대상 사용자
특히 로봇 조작 및 탐색을 위한 VLA 모델을 개발하는 신체적 AI 연구자 및 개발자에게 적합합니다.
주요 특징
- 광범위한 모델 지원: π0, CogACT, OFT, MemVLA, DM0 등의 주요 정책을 통합합니다.
- 최적화된 성능: 고성능 사전 훈련 기반 모델과 Triton 기반 실시간 백엔드를 포함하여 추론 속도를 최대 5배까지 향상시킵니다.
- 유연한 훈련: 분산 훈련을 위한 FSDP2와 효율적인 미세 조정을 위한 LoRA를 지원합니다.
- 하드웨어 독립성: 다양한 로봇 유형용 배포 스크립트와 데이터 형식을 제공하며 최신 Blackwell GPU 아키텍처도 지원합니다.
관련
- 프로젝트
OpenBMB/DeepThinkVLADeepThinkVLA는 로봇 행동을 생성하기 전에 명시적인 사고 흐름(Chain-of-Thought) 단계를 삽입하는 시각-언어-행동 모델입니다. 자가회귀적 추론 → 병렬 동시 행동 생성을 결합한 하이브리드 디코더를 사용하며, 새로 구축한 몸체화된 CoT 데이터셋으로 훈련한 후 성과 중심 강화학습으로 보완합니다. 이 모델은 LIBERO 벤치마크에서 평균 97 %의 성공률을 달성하고, 순수 자가회귀 기반 대비 0.175×의 지연만을 가지며, 더 새로운 LIBERO Plus 스위트로 제로샷 전이가 가능합니다.
- 프로젝트
open-gigaai/giga-brain-0GigaBrain‑0.7은 로봇을 위한 오픈소스 대규모 시각-언어-행동 모델입니다. 37,000시간의 다양한 신체화 데이터로 사전 학습되었으며, 8종의 로봇 신체화를 지원하며, 학습 스크립트, 벤치마크 스위트(VLM‑Benchmark, RoboColiseum, RoboTwin 2.0, EBench), ROS와 통합 가능한 즉시 실행 가능한 인퍼런스 서버를 포함합니다.
- 프로젝트
opendilab/LightRFTLightRFT는 대규모 언어 및 멀티모달 생성 모델의 미세 조정을 위한 오픈 소스 분산 강화 학습 프레임워크입니다. DeepSpeed, FSDP와 같은 학습 백엔드와 SGLang, vLLM과 같은 롤아웃 엔진을 통합하고, GRPO, REINFORCE++, DAPO 등 다양한 RL 알고리즘을 지원하며, 텍스트, 이미지, 비디오, 오디오 모달리티를 모두 지원합니다. 이 라이브러리는 즉시 실행 가능한 예제(예: Qwen2.5를 사용한 GSM8K), 광범위한 문서, Docker 이미지를 제공하여 RL 기반 정렬 파이프라인을 구축하는 연구자 및 엔지니어를 위한 데일리 작업에 적합합니다.
- 프로젝트
dsta022/Loop-Engineering-for-VLALoop Engineering for VLAnything는 RGB, RGB-D, 그리고 미래의 시각-촉각 데이터를 포함하는 다중 모달 로봇 학습 데이터셋을 기록, 병합, 감사, 확장, 반복 개선할 수 있는 엔드투엔드 파이썬 툴킷입니다. 보수적이고 사이드카 중심의 품질 감사, 플러그인 가능한 의미 평가기, 언어 어노테이션 파이프라인, 정책 개선을 위한 클로즈드 루프를 제공하며, LeRobot 데이터 형식과 호환되며 Hugging Face에 게시 가능합니다.