v-modal/vmodal_sdk_robotics

해결하는 문제

이 SDK는 로봇 공학 및 물리 AI를 위한 크래시 복원력 있는 데이터 업링크를 제공하며, LeRobot 데이터셋 아티팩트(비디오, 원격 측정, 메타데이터)를 로봇에서 원격 서버로 네트워크 불안정이나 전원 장애 중 데이터 손실 위험 없이 이동하도록 특별히 설계되었습니다.

작동 방식

시스템은 "핸드오프 프로토콜"을 사용하며, 레코더가 파일을 닫고 .ready.json 매니페스트를 게시합니다. SDK는 다음을 수행합니다:

1. 검증 및 스풀링: 매니페스트를 검증하고 참조된 파일을 내구성 있는 로컬 스풀에 복사합니다(상태 추적에는 SQLite WAL 모드, 데이터에는 원자적 파일 작업 사용).
2. 독립 레인: 비디오와 보조 데이터(원격 측정/메타데이터)를 위한 별도의 비동기 레인으로 업로드를 처리하여 대용량 비디오 파일이 중요한 원격 측정을 차단하지 않도록 합니다.
3. 신뢰할 수 있는 전송: 지수 백오프로 재시도를 관리하고 "재시작 조정"을 수행하여 크래시나 전원 손실로 중단된 업로드 상태를 복구합니다.
4. 전송 추상화: 좁은 Transport 인터페이스를 통해 SDK는 다양한 백엔드(S3, R2, V-Modal 클라우드 등)에서 작동할 수 있으며 레코더가 해당 클라이언트에 의존할 필요가 없습니다.

대상 사용자

LeRobot 프레임워크를 사용하는 로봇 공학 엔지니어와 AI 연구자로, 간헐적 연결이나 전원 사이클이 발생하는 하드웨어에서 데이터셋 캡처를 클라우드 또는 온프레미스 스토리지로 안정적으로 스트리밍해야 하는 사람들.

주요 특징

• 크래시 복원력: fsync, 원자적 이름 변경, SQLite WAL 모드를 사용하여 프로세스 크래시와 전원 손실 후에도 데이터가 유지되도록 보장합니다.
• 체크섬 키 스풀: 각 아티팩트는 SHA-256 해시로 추적되어 손상을 방지하고 정체성 안정성을 보장합니다.
• 레인 독립성: 비디오와 보조 데이터 흐름을 분리하여 원격 측정 기아를 방지합니다.
• 엄격한 핸드오프: 레코더가 가변 파일을 소유하고 업로더가 불변 바이트를 소유하는 명확한 경계를 강제합니다.
• 낮은 의존성: 핵심 런타임은 CPython과 Fire만 필요로 하며, 로봇에서 PyTorch나 ROS와 같은 무거운 의존성을 피합니다.