NVIDIA/IsaacCapture
The unified framework for sim & real robot teleoperation
해결하는 문제
고충실도 인간 시연 데이터를 수집하기 위한 통합 프레임워크를 제공하여 로봇 학습의 데이터 병목 현상을 해결하고, 장치 통합 방식을 간소화하며, 서로 다른 로봇 간의 데이터 상호 운용성을 보장합니다.
작동 방식
Isaac Teleop는 시뮬레이션과 실제 환경의 원격 조작 모두에서 작동하는 표준화된 장치 인터페이스와 유연한 리타겟팅 프레임워크를 제공합니다. 사용자는 XR 헤드셋이나 장갑과 같은 다양한 하드웨어를 사용하여 에고센트릭 및 로봇 데이터를 캡처하고, 그리퍼 핸드나 전신 이동 매니퓰레이터와 같은 로봇을 제어할 수 있습니다.
대상 사용자
시뮬레이션과 실제 환경 모두에서 인간의 원격 조작을 통해 로봇 학습을 위한 고품질 훈련 데이터를 수집해야 하는 로봇 공학 연구자 및 개발자.
주요 특징
- 시뮬레이션 및 실제 원격 조작을 위한 통합 스택.
- 하드웨어 통합을 간소화하는 표준화된 장치 인터페이스.
- 인간의 움직임을 로봇 동작으로 매핑하기 위한 유연한 리타겟팅 프레임워크.
- XR 기반 조작 및 전신 이동 조작을 포함한 다양한 사용 사례 지원.
관련
- 프로젝트
droidrun/mobile-harnessMobile Harness는 Python 기반의 Markdown 중심 라이브러리로, LLM 에이전트가 Android 및 iOS 기기를 제어할 수 있게 합니다(ADB/Portal을 통한 로컬 또는 Mobilerun 클라우드를 통한 원격). UI 상호작용, 스크린샷, 앱 실행, 접근성 트리 쿼리를 위한 통합 API를 제공하며, AndroidWorld 및 iOSWorld 작업 스위트에서 거의 완벽한 성능을 보여주는 벤치마크를 포함합니다.
- 프로젝트
- 프로젝트
Qpu523/VPSCI-DatasetVPSCI는 CARLA 시뮬레이터 내의 3단계 강화학습 파이프라인을 통해 생성된 대규모, 고해상도 차량-보행자 근접 충돌(near-miss) 상호작용 데이터셋입니다. 8개의 교차로 시나리오에 걸쳐 약 198k개의 에피소드를 포함하며, 20Hz로 기록된 CSV 파일과 지원 영상을 제공합니다. 인간 대상 연구 결과, 생성된 상호작용은 실제 상황과 구별할 수 없을 정도로 사실적이며, 이는 자율주행 안전 연구에 매우 가치 있는 데이터셋임을 의미합니다.
- 프로젝트
kesai-labs/py123dpy123d는 Argoverse 2, nuScenes, Waymo, nuPlan 등 여러 자율주행 데이터셋을 고속의 제로 코피 Apache Arrow 형식으로 변환하고, 카메라, 라이다, 지도, 라벨에 대한 단일 API를 제공하는 Python 라이브러리입니다. CLI 도구를 통한 데이터 다운로드 및 변환, Hydra 기반 파이프라인, 인터랙티브 3D 뷰어를 포함하며, `pip install py123d` (각 데이터셋용 옵션 포함)로 설치하고 제공된 명령어를 사용해 데이터를 가져오고 변환하며 시각화할 수 있습니다.